AI エージェントの Web ブラウジング向けプロキシは、いまや本番のエージェントインフラに欠かせない構成要素です。LangChain エージェントが価格ページをスクレイピングするたび、AutoGPT インスタンスが競合をリサーチするたび、CrewAI のクルーが学習データを集めるたびに、対象サイトには 1 つの IP アドレスが自動化リクエストを叩き込んでいる姿が見えています。その結果、レート制限、CAPTCHA、IP の BAN、そして黙ってゴミデータを返すエージェントが生まれます。
Gartner は、2026 年末までにエンタープライズアプリケーションの 40% がタスク特化型の AI エージェントを備えるようになると予測しています。2025 年の 5% 未満からの上昇です（Gartner、2025 年 8 月）。エージェントの展開が拡大するにつれ、ブロックも拡大します。本ガイドでは、LLM のデータ収集向けプロキシインフラを信頼できる形で構築するために必要なすべてを扱います——どのプロキシタイプを使うか、最も人気のある 3 つのエージェントフレームワークにどう組み込むか、そしてコストをどう抑えるか。
AI エージェントは人間とは異なる形で Web とやり取りします。1 体のエージェントが、数十のドメインにまたがって毎分数百件のリクエストを発射できます。プロキシがなければ、それらのリクエストはすべて同じ IP アドレスから来ます。
レート制限。 ほとんどのサイトは IP ごとのリクエスト上限を課しています。1 つの IP から毎分 60 リクエストを当てるエージェントは、数秒以内にスロットリングを発動させます。レスポンスは這うように遅くなるか 429 エラーを返し、エージェントの推論チェーンが壊れます。
anti-bot 検知。 Cloudflare、Akamai、PerimeterX のようなシステムは、リクエストパターン、TLS フィンガープリント、行動シグナルを分析します。ブラウザフィンガープリントを持たないデフォルトの requests セッションをマシンガンのようなタイミングで使うエージェントは、ごく簡単に識別されます。
IP フィンガープリンティング。 同じサイトの複数のエンドポイントへリクエストを送る 1 つの IP は、明確なフィンガープリントを作り出します。サイトはそれらのリクエストを相関させ、その IP にフラグを立て、ブロックします——多くの場合は永久に。
地域制限。 価格データ、広告コンテンツ、ローカライズされた検索結果を集めるエージェントは、特定の国から来ているように見える必要があります。地域ターゲティングのプロキシがなければ、エージェントにはサーバーの実際の所在地に配信されるものしか見えません。
Residential IP は、実際の ISP が割り当てたデバイスから来ます。サイトはこれを通常のユーザートラフィックと同様に扱うため、攻撃的な anti-bot システムを持つターゲットに最適です。JIBAO Proxy では、residential 帯域は基本料金で $2/GB、ボリューム割引により最安 $5.50/GB まで下がります。
Datacenter IP は速くて安いですが、サイトに検知されやすくなります。API、公開データソース、anti-bot 保護のないターゲットに向いています。ローテーション式 datacenter IP で $0.8/GB なら、大量かつ低リスクの収集にとって費用対効果の高い選択肢です。
ローテーション式プロキシは、リクエストごとに新しい IP を割り当てます。各リクエストが独立している場合に使いましょう：検索クエリ、商品リスト、URL の一括チェックなど。
スティッキーセッションは、設定可能な時間（1–30 分）にわたって同じ IP を維持します。マルチステップのワークフローに使いましょう：ログイン、ページ分割された結果の遷移、フォームの記入など。
| エージェントのタスク | プロキシタイプ | セッション | 理由 |
|---|---|---|---|
| Web スクレイピング（保護されたサイト） | Residential | ローテーション式 | IP ベースのレート制限を回避 |
| マルチステップのフォーム記入 | Residential | スティッキー | セッションの一貫性を維持 |
| API データ収集 | Datacenter | ローテーション式 | 高速・安価、API は datacenter IP をめったにブロックしない |
| 価格モニタリング（e コマース） | Residential | ローテーション式 | e コマースは攻撃的な anti-bot を使う |
| LLM 学習データの収集 | Datacenter | ローテーション式 | 量が重要、ほとんどのターゲットは寛容 |
| ソーシャルメディアのリサーチ | Residential | スティッキー | プラットフォームはセッションと IP の紐付けを追跡する |
from langchain_community.document_loaders import WebBaseLoader
# JIBAO Proxy rotating residential endpoint
PROXY_USER = "your_username"
PROXY_PASS = "your_password"
PROXY_HOST = "gate.jibaoproxy.com"
PROXY_PORT = "10001"
proxy_url = f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
loader = WebBaseLoader(
web_paths=["https://example.com/pricing"],
proxies={"http": proxy_url, "https": proxy_url},
requests_kwargs={"timeout": 30},
)
docs = loader.load()import requests
from langchain_community.document_loaders import WebBaseLoader
# Sticky session: append session ID to username
SESSION_ID = "agent-task-001"
PROXY_USER = f"your_username-session-{SESSION_ID}"
PROXY_HOST = "gate.jibaoproxy.com"
PROXY_PORT = "10002"
proxy_url = f"http://{PROXY_USER}:your_password@{PROXY_HOST}:{PROXY_PORT}"
session = requests.Session()
session.proxies = {"http": proxy_url, "https": proxy_url}
loader = WebBaseLoader(
web_paths=["https://example.com/page/1", "https://example.com/page/2"],
session=session,
)
docs = loader.load()import os
from langchain.tools import tool
os.environ["HTTP_PROXY"] = "http://user:[email protected]:10001"
os.environ["HTTPS_PROXY"] = "http://user:[email protected]:10001"
@tool
def fetch_page(url: str) -> str:
"""Fetch a web page through a residential proxy."""
import requests
resp = requests.get(url, timeout=30)
resp.raise_for_status()
return resp.text[:8000]AutoGPT は環境変数からプロキシ設定を読み込みます。次の内容を .env ファイルに追加してください：
# .env - AutoGPT proxy configuration
HTTP_PROXY=http://your_username:[email protected]:10001
HTTPS_PROXY=http://your_username:[email protected]:10001
# Bypass proxy for LLM API calls
NO_PROXY=localhost,127.0.0.1,api.openai.com
# Rate limits (seconds between requests)
BROWSE_COOLDOWN=3
SEARCH_COOLDOWN=5AutoGPT を Docker 経由で動かしている場合は、変数を docker-compose.yml を通して渡します：
services:
autogpt:
environment:
- HTTP_PROXY=http://user:[email protected]:10001
- HTTPS_PROXY=http://user:[email protected]:10001
- NO_PROXY=localhost,127.0.0.1,api.openai.comNO_PROXY 変数は、LLM プロバイダーへの API 呼び出しが直接行われるようにします。プロキシを通すべきなのは Web ブラウジングのトラフィックだけです。
import os
# Configure proxy BEFORE importing CrewAI tools
os.environ["HTTP_PROXY"] = "http://user:[email protected]:10001"
os.environ["HTTPS_PROXY"] = "http://user:[email protected]:10001"
os.environ["NO_PROXY"] = "api.openai.com,api.anthropic.com"
from crewai import Agent, Task, Crew
from crewai_tools import ScrapeWebsiteTool, SerperDevTool
scrape_tool = ScrapeWebsiteTool()
search_tool = SerperDevTool()
researcher = Agent(
role="Market Researcher",
goal="Gather competitor pricing data from e-commerce sites",
tools=[scrape_tool, search_tool],
verbose=True,
)
task = Task(
description="Scrape pricing pages of the top 5 competitors",
agent=researcher,
expected_output="A comparison table of competitor prices",
)
crew = Crew(agents=[researcher], tasks=[task])
result = crew.kickoff()IP のローテーションはタスク内ではなくタスク間で行う。 エージェントが 1 つのサイトで 5 ステップのワークフローを実行する場合は、5 ステップすべてでスティッキーセッションを使いましょう。タスクの途中で IP を切り替えると、anti-fraud システムを発動させます。
認証フローにはスティッキーセッションを使う。 ログインやセッション cookie を伴うワークフローはどれも、同じ IP を保たなければなりません。IP-A で発行された cookie が IP-B から現れると、セッションハイジャックのように見えます。
プロキシローテーションを伴うリトライロジックを実装する：
import requests
from time import sleep
def fetch_with_retry(url, proxy_base, max_retries=3):
for attempt in range(max_retries):
proxy = f"http://user-session-{attempt}:pass@{proxy_base}"
try:
resp = requests.get(
url,
proxies={"http": proxy, "https": proxy},
timeout=30,
)
resp.raise_for_status()
return resp.text
except requests.exceptions.HTTPError:
sleep(2 ** attempt)
raise Exception(f"Failed after {max_retries} retries: {url}")帯域使用量をモニタリングする。 Residential プロキシは GB 単位で課金されます。10MB のページでループしてしまうバグを抱えたエージェントは、あっという間に予算を焼き尽くせます。
robots.txt を尊重する。 プロキシは何にでもアクセスできる能力を与えてくれます。だからといってアクセスしてよいわけではありません。robots.txt を無視すると、法的リスクを招き、プロキシの IP レンジにフラグが立ちます。
トラフィックは利便性ではなくターゲットの難易度に基づいてルーティングしましょう。
Datacenter プロキシ（$0.8/GB）は次の用途に：公開 API、政府ポータル、学術データベース、ニュースサイト。これらのターゲットは anti-bot システムをめったに採用しません。
Residential プロキシ（$2/GB、ボリュームで最安 $5.50/GB）は次の用途に：e コマースプラットフォーム、ソーシャルメディア、検索エンジン、Cloudflare/Akamai の背後にあるあらゆるもの。
この階層的アプローチにより、すべてを residential 経由でルーティングする場合と比べて、プロキシコストを 60–80% 削減できます。
コミットする前にテストする。 JIBAO Proxy は登録時に 500MB の無料トラフィック付きトライアルを提供しています——エージェントのパイプラインを検証するのに十分です。新規アカウントには初回入金 100% ボーナスも付きます。
500MB の無料トラフィックを受け取って、residential と datacenter のプロキシをあなたのエージェントフレームワークで試しましょう。
無料トライアルを開始新規ユーザーは登録時に500MBを獲得、さらに初回チャージにボーナスが付きます。期間限定オファーです。