Instagram 和 TikTok 是抓取领域里两个最难啃的主流目标——比 Google 难,比 Amazon 难。两家都跑着激进的 IP 评分,都在多个层面给你的客户端打指纹,而且都以软封锁著称:不给你干脆的 403,而是登录墙、空 JSON、"challenge_required",或者悄悄截断的结果。你的爬虫「能跑」,但抓到的数据是垃圾。
本文讲清楚 2026 年每个平台到底怎么封你、能活下来的代理方案,以及让账号和会话存活的请求模式。(如果你是要做多账号管理而非抓取,见我们的 AdsPower/Multilogin 和 GoLogin/Dolphin Anty 指南。)
challenge_required。Instagram 对共享/被滥用过的住宅 IP 的容忍度也很低——这里的池子质量比几乎任何地方都更要紧。X-Bogus/签名参数。纯 HTTP 抓取意味着要逆向那些每隔几周就轮换一次的签名——大多数团队改成直接跑真实浏览器(Playwright)并拦截 JSON 响应。itemList,看起来像「没有更多内容」)。# 一个身份 = 一个 sticky 会话,国家锁定
socks5h://USERNAME:[email protected]:913
对匿名公开页面、低流量场景,每请求轮换没问题。但一旦涉及会话 cookie 或登录,就切到 sticky——cookie 和 IP 必须作为一个身份一起移动(为什么)。
from curl_cffi import requests
PROXY = {"https": "socks5h://USERNAME:[email protected]:913"}
# 公开主页 JSON(无需登录)- 伪装 Chrome 的 TLS
r = requests.get(
"https://www.instagram.com/api/v1/users/web_profile_info/?username=nasa",
impersonate="chrome",
headers={"X-IG-App-ID": "936619743392459"},
proxies=PROXY,
)
data = r.json()["data"]["user"]
print(data["edge_followed_by"]["count"])
盯着响应看,别只看状态码:返回 200 但带 {"data": null},或者重定向到 /accounts/login/,说明这个 IP 的额度用完了——换身份、退避、再继续。
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={
"server": "us.jibaoproxy.com:913",
"username": "USERNAME", "password": "PASSWORD",
})
page = browser.new_page()
items = []
# 让 TikTok 自己的 JS 给请求签名;我们只读结果
page.on("response", lambda res:
items.extend(res.json().get("itemList", []))
if "/api/post/item_list" in res.url else None)
page.goto("https://www.tiktok.com/@nasa")
for _ in range(5):
page.mouse.wheel(0, 2500)
page.wait_for_timeout(1800) # 接近人类的滚动节奏
print(len(items), "videos captured")
这完全绕开了签名逆向:页面自己生成有效的 X-Bogus,你只管收割 JSON。代理必须在浏览器启动时就设好——认证的坑在 Playwright 代理认证 里讲了。
challenge_required、带 hasMore: true 却为空的 itemList。| TikTok | ||
|---|---|---|
| 最佳访问路径 | 网页 GraphQL/API 端点,curl_cffi | Playwright + 响应拦截 |
| 代理类型 | 住宅,每身份 sticky | 住宅,与市场地理匹配 |
| 数据中心 IP | 登录墙 / challenge | 秒弹验证码 |
| 软封锁信号 | 登录重定向、challenge_required、null 数据 | 空 itemList、验证码页 |
| 地理敏感度 | 中等 | 高——内容因国家而异 |
新用户注册即送500M免费流量,首次充值额外加赠,活动期间限时开放。