تهيئة البروكسي لـ Crawl4AI وFirecrawl: استيعاب RAG بلا حظر (2026)

أصبح Crawl4AI وFirecrawl الطريقة الافتراضية لتغذية بيانات الويب إلى خطوط أنابيب نماذج اللغة الكبيرة (LLM) — فهما يزحفان، ويصيّران الصفحات، ويعيدان لك Markdown نظيفًا يمكن لنموذجك استخدامه فعلًا. ثم توجّههما نحو هدف حقيقي فتكتشف ما يتعلمه كل مستخرِج في النهاية: طبقة الاستخراج لم تكن قط هي الجزء الصعب. الجزء الصعب أن زاحفك يعمل من عنوان IP واحد لمركز بيانات، والويب يستطيع رؤيته.

يعرض هذا الدليل تهيئة بروكسي عملية لكلتا الأداتين — Crawl4AI ذاتي الاستضافة وكلا وضعَي Firecrawl — إضافة إلى استراتيجية الجلسات التي تمنع مهام استيعاب RAG من الموت عند الصفحة 50. وهو يوسّع دليلنا لبروكسي وكلاء الذكاء الاصطناعي ودليل browser-use ليشمل أطر الزحف.

لماذا تُحظر زواحف LLM أسرع من المستخرِجات

• تجلب على نطاق واسع، لا بدقّة جراحية. مهمة استيعاب RAG تسحب مئات الصفحات عبر نطاق كامل في دقائق — وهو بالضبط نمط السرعة الذي تسجّله أنظمة سمعة IP بأشدّ صرامة (انظر شرح كشف ASN).
• تُشغّل Chromium بلا واجهة افتراضيًا. يستخدم Crawl4AI أداة Playwright في الخلفية؛ ومن دون أعلام (flags)، يُظهر آثار العمل بلا واجهة المعتادة.
• تُعيد المحاولة بغباء. إعادة المحاولة الافتراضية عند الفشل أمام جدار مكافحة الروبوتات تُغرق سمعة عنوان IP أعمق فحسب.

Crawl4AI: تهيئة البروكسي

يتلقّى Crawl4AI (مفتوح المصدر، ذاتي الاستضافة) البروكسيات على مستوى BrowserConfig — بروكسي واحد لكل نسخة زاحف:

from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

browser_cfg = BrowserConfig(
    headless=True,
    proxy_config={
        "server": "us.jibaoproxy.com:913",
        "username": "USERNAME",
        "password": "PASSWORD",
    },
)

async with AsyncWebCrawler(config=browser_cfg) as crawler:
    result = await crawler.arun(
        url="https://example.com/docs",
        config=CrawlerRunConfig(),
    )
    print(result.markdown[:500])

في عمليات الزحف العميقة، دوّر الهوية لكل نسخة زاحف، لا لكل صفحة — فالصفحات ضمن زيارة موقع واحدة ينبغي أن تتشارك عنوان IP مخرج واحدًا (الإنسان لا يغيّر المدن بين الصفحة 3 والصفحة 4):

def crawler_for(site_id: str) -> BrowserConfig:
    # Sticky session per site: cookies + IP move together
    return BrowserConfig(
        headless=True,
        proxy_config={
            "server": "us.jibaoproxy.com:913",
            "username": f"USERNAME-session-{site_id}",
            "password": "PASSWORD",
        },
    )

# site A crawled through exit A, site B through exit B, in parallel

Firecrawl: وضعان، إجابتان

واجهة API السحابية: التوكيل عبر البروكسي وسيط في الطلب — يوجّه Firecrawl عبر مجمّعاته الخاصة. أنت تتحكم في درجة الجودة، لا في عناوين IP:

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="fc-YOUR-KEY")
result = app.scrape_url(
    "https://example.com/pricing",
    params={"proxy": "stealth"},   # basic | stealth | auto
)

المأخذ: طلبات الدرجة الخفية (stealth) تُحاسَب بأضعاف أرصدة الدرجة الأساسية، ولا يمكنك تثبيت الدول بدقّة أو الاحتفاظ بجلسات sticky عبر الاستدعاءات. مناسب للصفحات العَرَضية؛ ومكلِّف وغير دقيق عند حجوم الاستيعاب.

Firecrawl ذاتي الاستضافة: توفّر بروكسيك الخاص عبر متغيرات البيئة، مع تحكّم كامل:

# .env for self-hosted Firecrawl
PROXY_SERVER=http://us.jibaoproxy.com:1000
PROXY_USERNAME=USERNAME
PROXY_PASSWORD=PASSWORD

الاستضافة الذاتية + بوّابتك السكنية الخاصة هي الإعداد العقلاني من حيث التكلفة بمجرد أن تستوعب على نطاق واسع: إذ تدفع لكل جيجابايت من النطاق الترددي بدلًا من أرصدة لكل صفحة مع مضاعِف الدرجة الخفية.

استراتيجية الجلسات لمهام استيعاب RAG

• موقع واحد = هوية sticky واحدة. تبقى ملفات تعريف الارتباط، والذاكرة المؤقتة، وعنوان IP المخرج متسقة طوال زحف الموقع كله؛ ودوّر بين المواقع. (خلفية: sticky مقابل التدوير.)
• احترم وتيرة كل موقع. خيارات semaphore_count / التأخير في Crawl4AI موجودة لهذا — من صفحتين إلى 4 صفحات متزامنة لكل موقع يكفي بوفرة؛ انشر التوازي عبر المواقع بدلًا من ذلك.
• أفشِل الصفحة، لا المهمة. عند رمز 403/تحدٍّ، علّم العنوان، ودوّر الهوية، وتابع — إعادات المحاولة العمياء عبر المخرج نفسه تُسمّم نتيجته.
• تحقّق من صحة Markdown. صفحة مكافحة الروبوتات الوسيطة تتحوّل إلى Markdown بلا مشكلة — وجود "نتحقق من كونك إنسانًا" مضمّنًا في قاعدة بيانات المتجهات لديك هو نمط فشل حقيقي. ابحث في مخرجات الاستيعاب عن علامات صفحات التحدّي قبل الفهرسة.
• خزّن مؤقتًا بقوة. إعادة زحف الصفحات غير المتغيّرة تحرق النطاق الترددي والسمعة بلا مقابل — احترم ETag/Last-Modified حيث يسمح الإطار.

مراجعة واقع التكلفة

الإعداد	تدفع مقابل	الأفضل عندما
Firecrawl سحابي، بروكسي خفي	أرصدة لكل صفحة × مضاعِف الدرجة الخفية	حجم منخفض، صفر تشغيل
Firecrawl ذاتي الاستضافة + جيجابايت سكني	النطاق الترددي فقط (~10 دولارات/جيجابايت)	حجم استيعاب ثابت
Crawl4AI + جيجابايت سكني	النطاق الترددي فقط، تحكّم كامل	خطوط أنابيب مخصّصة، عمليات زحف عميقة

الصفحة النموذجية الكثيفة النص تكلّف 100–300 كيلوبايت عبر بروكسي — أي نحو 3,000–10,000 صفحة لكل جيجابايت. حلقات الحظر-وإعادة-المحاولة هي ما يفجّر الميزانية، وهذا سبب آخر لإصلاح الكشف قبل توسيع الحجم.

الخلاصة

• حظر زواحف LLM = كشف IP + العمل بلا واجهة، لا الإطار؛ أصلِح طبقة الشبكة أولًا.
• Crawl4AI: proxy_config في BrowserConfig؛ هوية sticky لكل موقع، ودوّر بين المواقع.
• Firecrawl سحابي: وسيط proxy: "stealth"، مكلّف عند الحجم؛ ذاتي الاستضافة: بوّابتك الخاصة عبر متغيرات البيئة.
• تحقّق من مخرَج Markdown بحثًا عن نص صفحة التحدّي قبل أن يصل إلى قاعدة بيانات المتجهات لديك.
• السكني لكل جيجابايت يتفوّق على أرصدة الدرجة الخفية لكل صفحة بمجرد أن يصبح الاستيعاب ثابتًا.