价格是电商里最动态的变量。Amazon 一天多次改价,机酒平台按需求逐时调价,竞品随时更新 Shopify 和 Walmart listing——没有自动监控你根本看不见。
搭建真正可规模化的价格监控,核心是解决一个基础设施难题:如何对激进封禁自动访问的站点每天发数千请求。答案是轮换住宅代理。本文讲生产级监控系统的架构、为何电商目标必须用住宅代理,以及极豹如何提供 IP 基础设施可靠追踪任意市场的价格。
Amazon、Walmart、Target 等部署了 Cloudflare、DataDome、PerimeterX 及自研系统,逐请求分析自动化迹象。单 IP 每小时几百次商品页请求会被秒识别封禁;这些系统维护 IP 信誉库,标记数据中心段、VPN 出口和历史被封地址。
电商定价很少跨区统一。Amazon 对不同 ZIP 显示不同价;带地理插件的 Shopify 按访客国家显示不同价和币种;旅游站常对富裕地区显示更高价。脱离「哪个地区的价格」谈「价格」毫无意义。
有意义的监控要跨多竞品、每天多次追踪几百到几千 SKU。中型电商监控 5 家竞品 500 个商品、每天 4 次 = 每天 1 万请求,单 IP 几分钟就超限。代理轮换把请求摊到数千 IP,让每 IP 速率远低于检测阈值。
调度器 (cron/Airflow)
|
v
抓取工作池 (Python/Node)
|
v
极豹代理网关 (gate.jibaoproxy.com)
|--- 轮换住宅 IP(9000 万+池)
|--- 按国家/城市地理定向
v
目标站 (Amazon, Shopify, Walmart …)
|
v
解析/提取
|
v
数据库 (PostgreSQL / TimescaleDB)
|
v
看板 / 告警
import requests, time
def build_proxy(country=None):
user = "USERNAME"
if country:
user = f"USERNAME-country-{country}"
url = f"http://{user}:[email protected]:10001"
return {"http": url, "https": url}
def fetch_price(product_url, proxy_config, retries=3):
for attempt in range(retries):
try:
r = requests.get(product_url, proxies=proxy_config, timeout=20,
headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)",
"Accept-Language": "en-US,en;q=0.9"})
if r.status_code == 200:
return r.text
time.sleep(2 ** attempt) # 重试自动换新 IP
except requests.exceptions.RequestException:
time.sleep(2 ** attempt)
return None
for region in ["us", "uk", "de", "jp", "au"]:
html_ = fetch_price("https://example.com/product/12345", build_proxy(region))
# price = parse_price(html_); save_to_database(...)
每次 fetch_price 自动拿到池里不同住宅 IP,失败请求换新 IP 重试,无需额外配置。把带时间戳的价格点存进时序库(PostgreSQL + TimescaleDB),即可建历史价格曲线、检测规律、触发告警(竞品降价 >5%、缺货、新竞品出现等)。
Amazon:防护最重之一(验证码+请求指纹+激进黑名单),住宅代理是硬要求,数据中心几乎秒封;每请求换 IP、变 UA、加 2–5 秒延迟、用匹配域名的地理定向。Shopify:防护通常较轻,很多店暴露 /products.json 结构化端点;住宅代理保证 Cloudflare 开启时仍可访问。Walmart:用 PerimeterX,数据中心被快速标记,需美国地理定向的住宅。
住宅 $6.8/GB 比数据中心 $1/GB 贵,但监控经济性更好:成功率高=少浪费带宽(首次成功 vs 失败重试三次更慢吞吐更低);无 IP 恢复开销(干净住宅池极少被封);地理数据准(住宅带真实 ISP 元数据,数据中心常地理定位错)。无防护目标用 数据中心 $1/GB,有真实反爬的用 住宅。
9000 万+住宅 IP、240+ 国家、城市级定向;每请求自动轮换免维护轮换逻辑;1–30 分钟 sticky 应对多页导航;HTTP/HTTPS/SOCKS5 兼容 requests、Scrapy、Puppeteer、Playwright;按 GB 无过期,应对大促周期性负载;主动 IP 质量管理保证数据可靠。
| 产品 | 价格 | 最适合 |
|---|---|---|
| 动态住宅 | $6.8/GB | 受保护目标、地理定向 |
| 静态住宅 | $5.88/月/IP | 长期身份、不限流量 |
| 数据中心轮换 | $1/GB | 高量、低防护目标 |
| 动态移动 | $15/GB | 最强反爬、纯移动目标 |
新用户注册即送 $5 免费额度,首充享 100% 翻倍。完整折扣见价格方案。
新用户注册即送5U,首次充值额外加赠,活动期间限时开放。