Instagram এবং TikTok scraping-এর জন্য proxies: ২০২৬ সালে কী কাজ করে

Instagram এবং TikTok হলো scraping-এ দুটি সবচেয়ে কঠিন মূলধারার টার্গেট — Google-এর চেয়ে কঠিন, Amazon-এর চেয়ে কঠিন। উভয়ই আক্রমণাত্মক IP scoring চালায়, উভয়ই একাধিক স্তরে আপনার ক্লায়েন্ট fingerprint করে, এবং উভয়ই soft block-এর জন্য বিখ্যাত: একটি পরিষ্কার 403-এর বদলে, আপনি login wall, খালি JSON, "challenge_required", বা নীরবে কেটে ফেলা ফলাফল পান। আপনার scraper "কাজ করে" এবং আপনার ডেটা আবর্জনা।

এই গাইডটি কভার করে কীভাবে প্রতিটি প্ল্যাটফর্ম ২০২৬ সালে আসলে আপনাকে ব্লক করে, কোন proxy সেটআপ টিকে থাকে, এবং কোন request প্যাটার্নগুলো অ্যাকাউন্ট ও সেশন জীবিত রাখে। (scraping-এর বদলে multi-account ব্যবস্থাপনার জন্য, আমাদের AdsPower/Multilogin এবং GoLogin/Dolphin Anty গাইডগুলো দেখুন।)

Instagram কীভাবে আপনাকে ব্লক করে

• IP reputation প্রথমে। Datacenter ASN-গুলো ওয়েবে প্রায় সাথে সাথেই login wall-এ আঘাত করে, এবং private API challenge_required ফেরত দেয়। শেয়ার করা/অপব্যবহৃত residential IP-এর প্রতি Instagram-এর সহনশীলতাও কম — এখানে পুল কোয়ালিটি প্রায় অন্য যেকোনো জায়গার চেয়ে বেশি গুরুত্বপূর্ণ।
• প্রতি-IP request বাজেট। বেনামী ওয়েব request প্রতি IP প্রতি ঘণ্টায় login wall-এর আগে মোটামুটি ১০০–২০০ pageload পায়; GraphQL endpoint-গুলো আরও কঠিন। বাজেটটি প্রতি-IP এবং প্রতি-সেশন-cookie, আলাদাভাবে ট্র্যাক করা হয়।
• Logged-in scraping ঝুঁকিকে অ্যাকাউন্টের সাথে বাঁধে। এক ঘণ্টায় ৫টি IP থেকে দেখা একটি অ্যাকাউন্ট checkpoint করা হয়, IP-গুলো নয়। আপনি যদি logged-in scrape করেন, একটি অ্যাকাউন্ট = একটি sticky IP, ব্যাস।
• Device/TLS fingerprint। mobile-API রুট (অ্যাপ হিসেবে ভান করা) পরিচিত অ্যাপ স্ট্যাকের বিপরীতে TLS fingerprint পরীক্ষা করে — raw httpx এখানে মরে যায়; curl_cffi impersonation দেখুন।

TikTok কীভাবে আপনাকে ব্লক করে

• Signed request। TikTok-এর web API-তে obfuscated JavaScript দ্বারা তৈরি X-Bogus/signature প্যারামিটার প্রয়োজন। বিশুদ্ধ-HTTP scraping মানে প্রতি কয়েক সপ্তাহে ঘূর্ণায়মান signature reverse-engineer করা — বেশিরভাগ দল পরিবর্তে একটি আসল ব্রাউজার (Playwright) চালায় এবং JSON রেসপন্স intercept করে।
• Geo-partitioned কন্টেন্ট। TikTok কন্টেন্ট, ট্রেন্ড, এমনকি প্রাপ্যতা exit IP-এর দেশ অনুযায়ী ভিন্ন হয়। EU IP থেকে "US TikTok" scrape করলে আপনি ভিন্ন ডেটা পান, কেবল ব্লক করা ডেটা নয় — একটি নীরব সঠিকতা বাগ। proxy দেশকে টার্গেট মার্কেটের সাথে মেলান।
• Datacenter IP = তাৎক্ষণিক captcha। cloud ASN থেকে প্রথম লোডেই slider/whirl captcha দেখা দেয়। Residential exits বেশিরভাগই এটি এড়িয়ে যায়।
• webapp-এ আচরণগত scoring। Scroll cadence এবং watch-time সিগন্যাল ঝুঁকি মডেলে যায়; একটি ব্রাউজার যা মেশিনের গতিতে একটি প্রোফাইল paginate করে তার সেশন বিষাক্ত হয়ে যায় (খালি itemList রেসপন্স যা "আর কোনো কন্টেন্ট নেই"-এর মতো দেখায়)।

যে সেটআপ কাজ করে

1. Residential, geo-matched, প্রতি পরিচয়ে sticky

# One identity = one sticky session, country-pinned
socks5h://USERNAME:[email protected]:913

কম ভলিউমে বেনামী পাবলিক পেজের জন্য rotating-per-request ঠিক আছে। যে মুহূর্তে একটি session cookie বা login জড়িত হয়, sticky-তে স্যুইচ করুন — cookie এবং IP-কে একটি পরিচয় হিসেবে একসাথে চলতে হবে (কেন)।

2. proxy-এর মাধ্যমে GraphQL দিয়ে পাবলিক Instagram

from curl_cffi import requests

PROXY = {"https": "socks5h://USERNAME:[email protected]:913"}

# Public profile JSON (no login) - impersonate Chrome's TLS
r = requests.get(
    "https://www.instagram.com/api/v1/users/web_profile_info/?username=nasa",
    impersonate="chrome",
    headers={"X-IG-App-ID": "936619743392459"},
    proxies=PROXY,
)
data = r.json()["data"]["user"]
print(data["edge_followed_by"]["count"])

status code নয়, রেসপন্স দেখুন: {"data": null} সহ একটি 200 বা /accounts/login/-তে একটি redirect মানে এই IP-এর বাজেট খরচ হয়ে গেছে — পরিচয় rotate করুন, পিছিয়ে যান, এবং পুনরায় শুরু করুন।

3. Playwright + response interception দিয়ে TikTok

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "us.jibaoproxy.com:913",
        "username": "USERNAME", "password": "PASSWORD",
    })
    page = browser.new_page()
    items = []
    # Let TikTok's own JS sign the requests; we just read the answers
    page.on("response", lambda res:
        items.extend(res.json().get("itemList", []))
        if "/api/post/item_list" in res.url else None)
    page.goto("https://www.tiktok.com/@nasa")
    for _ in range(5):
        page.mouse.wheel(0, 2500)
        page.wait_for_timeout(1800)   # human-ish scroll cadence
    print(len(items), "videos captured")

এটি signature reverse-engineering সম্পূর্ণরূপে এড়িয়ে যায়: পেজ নিজেই বৈধ X-Bogus তৈরি করে, এবং আপনি JSON সংগ্রহ করেন। proxy অবশ্যই ব্রাউজার launch-এ সেট করতে হবে — auth-এর খুঁটিনাটি Playwright proxy authentication-এ কভার করা হয়েছে।

4. মানুষের মতো গতিতে চলুন, soft block-এর জন্য মনিটর করুন

• প্রতি Instagram পরিচয়ে ~১ request / ২–৪ সেকেন্ড বাজেট রাখুন; jitter যোগ করুন। TikTok scroll cadence ১.৫–৩ সেকেন্ড।
• HTTP কোড নয়, কন্টেন্ট সিগন্যালে অ্যালার্ট দিন: login-wall redirect, challenge_required, hasMore: true সহ খালি itemList।
• ~১৫০ request (IG) / ~৩০ প্রোফাইল পেজ (TikTok)-এর পরে একটি পরিচয় অবসর দিন; cooldown ২৪ ঘণ্টা।
• প্রতিটি ব্যাচে একটি control probe (একটি পরিচিত প্রোফাইল) চালান — control ভুল ফিরে এলে, পুরো ব্যাচটি সন্দেহজনক।

দ্রুত রেফারেন্স

	Instagram	TikTok
সেরা অ্যাক্সেস পথ	Web GraphQL/API endpoint, curl_cffi	Playwright + response interception
Proxy ধরন	প্রতি পরিচয়ে Residential sticky	Residential, মার্কেটের সাথে geo-matched
Datacenter IP	Login wall / challenge	তাৎক্ষণিক captcha
Soft-block সিগন্যাল	login redirect, challenge_required, null data	খালি itemList, captcha পেজ
Geo সংবেদনশীলতা	মাঝারি	উচ্চ — কন্টেন্ট দেশভেদে ভিন্ন

সারসংক্ষেপ

• উভয় প্ল্যাটফর্মই soft-block করে: রেসপন্স কন্টেন্ট যাচাই করুন, কখনও 200 OK-কে বিশ্বাস করবেন না।
• Residential বাধ্যতামূলক; যখনই একটি cookie বা login থাকে তখনই sticky sessions; আপনি যে মার্কেট পরিমাপ করছেন তার সাথে TikTok geo-match করুন।
• Instagram: web API + curl_cffi impersonation, প্রতি পরিচয়ে ~১৫০ request, তারপর rotate।
• TikTok: একটি আসল ব্রাউজারকে request sign করতে দিন, JSON intercept করুন, মানুষের গতিতে scroll করুন।
• Logged-in scraping ঝুঁকিকে অ্যাকাউন্টের সাথে বাঁধে — একটি অ্যাকাউন্ট, একটি IP, কোনো ব্যতিক্রম নেই।