انتقل إلى المحتوى
أمن الشبكات

قائمة زواحف الذكاء الاصطناعي: User-Agent لـ29 بوتاً وأيها يمكن التحقق منه عبر IP

قائمة زواحف الذكاء الاصطناعي لـ29 بوتاً حسب المهمة، مع User-Agent وصياغة robots.txt وملفات النطاقات، والبوتات الـ16 التي يتحقق منها GeoIPHub عبر IP، بتاريخ 9 نوفمبر 2026.

بقلمفريق GeoIPHubتاريخ النشرمدة القراءةقراءة في 25 دقيقة
أربعة أحواض زجاجية على رف طويل تضم صفوفاً من دمى بوتات صغيرة لامعة، ثلاثة منها متوهجة بالأزرق والرابع رمادي معتم، بينما يمر شعاع ضوء من أحد البوتات عبر بوابة زجاجية إلى جزء واحد مضاء من شريط نطاقات أمامه

النطاق: البوتات التي يوثّقها مشغّل في صفحة استطعنا فتحها في 9 نوفمبر 2026، والمستخدمة للذكاء الاصطناعي. توثّق Meta أيضاً meta-externalads، وهو زاحف إعلانات، لم نحتسبه. أما الأسماء المتداولة في قوائم أخرى دون توثيق من المشغّل فهي في قائمة منفصلة، مع ما فحصناه.

ينشر المشغّلون طريقة لإثبات 25 من هذه البوتات الـ29. ويتحقق GeoIPHub من 16 منها عبر الواجهة البرمجية. أما التسعة الباقية فليست فجوة في ما يوثّقه المشغّلون: إنها ملفات وصفحات لا نحمّلها، وتبيّن القائمة أيها.

تعطي القوائم الأخرى أسماءً ورموزاً، لكن الاسم في ترويسة User-Agent لا يثبت شيئاً، لأن أي أحد يستطيع كتابته. ويأتي دليل المشغّلين في خمسة أشكال: ملف JSON، أو صفحة ويب بالعناوين، أو DNS عكسي، أو توقيع، أو لا شيء. هذا المقال جزء من عملنا على كشف البوتات عبر IP. فيما يلي: كل بوت حسب مهمته، وملفات النطاقات الـ22 بأعدادها وتواريخها، وما أعادته واجهة GeoIPHub البرمجية لعنوان حقيقي من 14 ملفاً من الملفات الـ17 التي نحمّلها، ومقتطف يفحص سطراً من السجل مقابل الملف الصحيح، والأسماء التي لا تصل إلى سجلاتك أو التي لم نجد لها مصدراً.

شريطان: 29 بوتاً موثَّقاً للذكاء الاصطناعي موزعة حسب حالة الإثبات (16 يتحقق منها GeoIPHub، و9 منشورة لكن غير محمَّلة، و3 تُطابَق عبر ASN فقط، وواحد بلا إثبات)، والـ29 نفسها موزعة حسب المهمة
الإثبات منشور لـ25 من 29 بوتاً. ويتحقق GeoIPHub من 16.

قائمة زواحف الذكاء الاصطناعي: 29 بوتاً حسب المهمة

تصنّف قائمة زواحف الذكاء الاصطناعي هذه 29 بوتاً موثَّقاً مع قيم User-Agent الخاصة بها حسب المهمة التي يذكرها مشغّلها: التدريب، والبحث، والجلب الذي يطلقه المستخدم، والوكلاء، ومجموعة قصيرة لا تنتمي إلى أي من هذه. تُستخدم أربعة مصطلحات في كل إدخال. الإثبات (Proof) هو ما ينشره المشغّل: ملف نطاقات، أو صفحة ويب بالعناوين، أو DNS عكسي، أو توقيع، أو لا شيء. موثَّق (Verified) يعني أن عنواناً من ملف ذلك البوت نفسه أعاد verified: true في واجهة GeoIPHub البرمجية في التاريخ المبيَّن. مطابقة ASN فقط (ASN match only) تعني أننا نطابق شبكة المشغّل ونعيد verified: false. غير محمَّل (Not loaded) يعني أننا لا نحمّل قائمة المشغّل.

التجميع يتبع كلمات المشغّلين وليس نظيفاً. تقول OpenAI: "If your site has allowed both bots, we may use the results from just one crawl for both use cases" (إذا سمح موقعك للبوتين معاً، فقد نستخدم نتائج زحف واحد للغرضين). وتقول Meta: "use cases such as training" (حالات استخدام مثل التدريب). وتقول Amazon: "may be used to train" (قد يُستخدم في التدريب). وزاحف Apple للبحث أولاً، لكنه "may also be used to help train" (قد يُستخدم أيضاً للمساعدة في تدريب) نماذجها. وتقسّم وثائق البوتات لدى Cloudflare التقسيم الثلاثي نفسه: Search ("الزحف لبناء فهارس البحث أو قواعد بيانات RAG")، وAgent ("وكلاء موجَّهون من المستخدم يزورون صفحة نيابة عن إنسان")، وTraining ("الزحف لتدريب النماذج أو ضبطها").

بوتات زجاجية صغيرة على سير ناقل ينقسم إلى خمسة مسارات، ينتهي كل مسار برمز زجاجي مختلف: دماغ شبكي، وعدسة مكبّرة، ومؤشر يد، وذراع روبوتية، وكتلة زجاجية معتّمة سادة.
تُصنَّف الزواحف في مسارات بحسب المهمة التي يعلنها مشغّلها.

أي زواحف الذكاء الاصطناعي تدرّب النماذج؟

ستة، بحسب صياغة مشغّليها أنفسهم.

GPTBot (OpenAI)

  • جزء UA: GPTBot/1.4
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "منع GPTBot يعني أن محتوى الموقع ينبغي ألا يُستخدم في تدريب نماذج الذكاء الاصطناعي التوليدي الأساسية."
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

ClaudeBot (Anthropic)

  • جزء UA: ClaudeBot
  • الإثبات: ملف (مشترك)
  • robots.txt، بكلمات المشغّل: "تحترم بوتات Anthropic إشارات «عدم الزحف» بالتزامها بالتوجيهات القياسية في الصناعة داخل robots.txt."
  • تحقق GeoIPHub: موثَّق (باسم Anthropic)
  • تاريخ الفحص: 2026-11-09

MistralAI-Training (Mistral)

  • جزء UA: MistralAI-Training/1.0
  • الإثبات: لا شيء
  • robots.txt، بكلمات المشغّل: "يمكن لمشرفي المواقع منع هذا User-Agent في ملف robots.txt الخاص بهم."
  • تحقق GeoIPHub: غير محمَّل (يعيد mistralai-training-ips.json الرمز 404)
  • تاريخ الفحص: 2026-11-09

meta-externalagent (Meta)

  • جزء UA: meta-externalagent/1.1
  • الإثبات: لا شيء
  • robots.txt، بكلمات المشغّل: "لمنع هذه الزواحف، أضف منعاً للزاحف المعني في robots.txt."
  • تحقق GeoIPHub: مطابقة ASN فقط، غير موثَّق
  • تاريخ الفحص: 2026-11-09

Amazonbot (Amazon)

  • جزء UA: Amazonbot/0.1
  • الإثبات: صفحة ويب فقط
  • robots.txt، بكلمات المشغّل: "يحترم الزحف الآلي من User-Agent المدرجة هنا بروتوكول استبعاد الروبوتات، ويلتزم بالـuser-agent وبتوجيهات allow/disallow."
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

KimiBot (Moonshot)

  • جزء UA: KimiBot/1.0
  • الإثبات: ملف (ملف واحد، ثلاثة أسماء)
  • robots.txt، بكلمات المشغّل: غير مقتبس
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

الغرض بكلمات المشغّلين: GPTBot "يُستخدم لزحف محتوى قد يُستخدم في تدريب نماذجنا التوليدية الأساسية للذكاء الاصطناعي". وMistralAI-Training "يزحف إلى محتوى الويب للمساعدة في بناء مجموعات بيانات لتدريب نماذج Mistral التوليدية للذكاء الاصطناعي". وKimiBot "يزحف إلى محتوى يُحتمل استخدامه في تدريب النماذج الأساسية لـKimi".

أي زواحف الذكاء الاصطناعي تدعم البحث والإجابات؟

أحد عشر، منها زاحفا بحث تقليديان ضمن المجموعة التي نحمّلها.

OAI-SearchBot (OpenAI)

  • جزء UA: OAI-SearchBot/1.4
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "المواقع التي اختارت الانسحاب من OAI-SearchBot لن تظهر في إجابات بحث ChatGPT"
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

Claude-SearchBot (Anthropic)

  • جزء UA: Claude-SearchBot
  • الإثبات: ملف (مشترك)
  • robots.txt، بكلمات المشغّل: جملة Anthropic نفسها الخاصة بـClaudeBot
  • تحقق GeoIPHub: موثَّق (باسم Anthropic)
  • تاريخ الفحص: 2026-11-09

PerplexityBot (Perplexity)

  • جزء UA: PerplexityBot/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: غير مقتبس
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

MistralAI-Index (Mistral)

  • جزء UA: MistralAI-Index/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: غير مقتبس
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

meta-webindexer (Meta)

  • جزء UA: meta-webindexer/1.1
  • الإثبات: لا شيء
  • robots.txt، بكلمات المشغّل: جملة Meta نفسها الخاصة بـmeta-externalagent
  • تحقق GeoIPHub: مطابقة ASN فقط، غير موثَّق
  • تاريخ الفحص: 2026-11-09

Amzn-SearchBot (Amazon)

  • جزء UA: Amzn-SearchBot/0.1
  • الإثبات: صفحة ويب فقط
  • robots.txt، بكلمات المشغّل: "إذا لم تذكر ملفات robots.txt بوت Amzn-SearchBot لكنها تسمح لبوتات بحث أخرى، فسيزحف Amzn-SearchBot وفق توجيهات robots.txt الممنوحة لبوتات البحث الأخرى."
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

Applebot (Apple)

  • جزء UA: Applebot/0.1
  • الإثبات: ملف + DNS عكسي
  • robots.txt، بكلمات المشغّل: "يحترم Applebot توجيهات robots.txt القياسية عموماً في عمليات الزحف للبحث العام الموجّهة إلى Applebot."
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

Bingbot (Microsoft)

  • جزء UA: Bingbot
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: غير مقتبس (صفحة Microsoft تحتاج JavaScript فلم نستطع قراءتها)
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

DuckAssistBot (DuckDuckGo)

  • جزء UA: DuckAssistBot/1.2
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "بعد تحديث الملف لمنع User-Agent باسم DuckAssistBot، يسري التغيير بعد 72 ساعة ويتوقف DuckAssistBot عن الزحف إلى موقعك."
  • تحقق GeoIPHub: موثَّق (وتعيد عناوين DuckDuckBot هذا الاسم أيضاً)
  • تاريخ الفحص: 2026-11-09

Kimi-SearchBot (Moonshot)

  • جزء UA: Kimi-SearchBot/1.0
  • الإثبات: ملف (مشترك)
  • robots.txt، بكلمات المشغّل: غير مقتبس
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

YouBot (You.com)

  • جزء UA: YouBot/1.0
  • الإثبات: توقيع + DNS عكسي + صفحة ويب فقط (نطاق /24 واحد)
  • robots.txt، بكلمات المشغّل: "يحترم توجيهات robots.txt وتفضيلات معدل الزحف"
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

Bingbot وApplebot هنا لأنهما ضمن المجموعة التي نحمّلها ولأن Apple تقول إن زاحفها قد يساعد في تدريب نماذجها. لم نستطع قراءة صفحة الزاحف لدى Microsoft لأنها تحتاج JavaScript، لكن منشورها في 30 أكتوبر يضبط تفضيلات الذكاء الاصطناعي عبر Bingbot. وYouBot هو الإدخال الوحيد ذو ثلاثة أدلة: دليل توقيعات في you.com/.well-known/http-message-signatures-directory، وDNS عكسي بالصيغة youbot-68-67-112-106، والعبارة "Legitimate YouBot requests originate from 68.67.112.0/24." (طلبات YouBot المشروعة تصدر من 68.67.112.0/24).

الغرض بكلمات المشغّلين: PerplexityBot "مصمَّم لإظهار المواقع وربطها في نتائج البحث على Perplexity. ولا يُستخدم لزحف محتوى لنماذج الذكاء الاصطناعي الأساسية." وMistralAI-Index "للزحف الآلي إلى الويب لأغراض الفهرسة فقط". وDuckAssistBot "يزحف إلى الصفحات في الزمن الحقيقي لإجاباتنا المدعومة بالذكاء الاصطناعي" و"لا تُستخدم هذه البيانات بأي شكل لتدريب نماذج الذكاء الاصطناعي."

أي زواحف الذكاء الاصطناعي تجلب صفحة لأن مستخدماً طلب ذلك؟

سبعة، إضافة إلى أدوات الجلب التي يطلقها المستخدم لدى Google.

ChatGPT-User (OpenAI)

  • جزء UA: ChatGPT-User/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "لأن هذه الإجراءات يبدؤها المستخدم، فقد لا تنطبق قواعد robots.txt."
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

Claude-User (Anthropic)

  • جزء UA: Claude-User
  • الإثبات: ملف (مشترك)
  • robots.txt، بكلمات المشغّل: جملة Anthropic لجميع بوتاتها (انظر ClaudeBot)؛ لم نجد استثناءً خاصاً بما يطلقه المستخدم
  • تحقق GeoIPHub: موثَّق (باسم Anthropic)
  • تاريخ الفحص: 2026-11-09

Perplexity-User (Perplexity)

  • جزء UA: Perplexity-User/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "بما أن مستخدماً طلب الجلب، فإن أداة الجلب هذه تتجاهل عموماً قواعد robots.txt."
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

MistralAI-User (Mistral)

  • جزء UA: MistralAI-User/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: "يحدّد MistralAI-User المواقع التي يمكن توجيه طلبات المستخدمين هذه إليها."
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

meta-externalfetcher (Meta)

  • جزء UA: meta-externalfetcher/1.1
  • الإثبات: لا شيء
  • robots.txt، بكلمات المشغّل: "قد يتجاوز robots.txt لأنه ينفّذ عمليات جلب طلبها المستخدم"
  • تحقق GeoIPHub: مطابقة ASN فقط، غير موثَّق
  • تاريخ الفحص: 2026-11-09

Amzn-User (Amazon)

  • جزء UA: Amzn-User/0.1
  • الإثبات: صفحة ويب فقط
  • robots.txt، بكلمات المشغّل: "لأن الإجراءات التي ينفّذها Amzn-User قد يبدؤها مستخدم، فقد لا يتبع كل توجيهات robots.txt."
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

Kimi-User (Moonshot)

  • جزء UA: Kimi-User/1.0
  • الإثبات: ملف (مشترك)
  • robots.txt، بكلمات المشغّل: "لأن الإجراءات يطلقها المستخدم، فقد لا تنطبق قواعد robots.txt مباشرة"
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

تسمّي صفحة Google أيضاً Google-GeminiNotebook، الذي "يطلب عناوين URL فردية قدّمها مستخدمو Gemini Notebook مصادر". ولا تذكر الصفحة أي ملف نطاقات من ملفات Google الخاصة بما يطلقه المستخدم يدرجه، فلم نستطع اختباره وتركناه خارج القائمة.

أي بوتات الذكاء الاصطناعي هي وكلاء؟

اثنان، وكلاهما موثَّق بوصفه وكيلاً يتنقل في الويب نيابة عن مستخدم.

Google-Agent (Google)

  • جزء UA: Google-Agent
  • الإثبات: ملف (+ توقيع قيد التجربة)
  • robots.txt، بكلمات المشغّل: أدوات الجلب التي يطلقها المستخدم "تتجاهل عموماً قواعد robots.txt" (تصريح على مستوى الصفحة)
  • تحقق GeoIPHub: موثَّق
  • تاريخ الفحص: 2026-11-09

Claude-Agent (Anthropic)

  • جزء UA: Claude-Agent/1.0
  • الإثبات: ملف (SAIL، بصيغة TOML لا JSON)
  • robots.txt، بكلمات المشغّل: "تفضيلاتك لروبوتات Anthropic (الزواحف وأدوات الجلب) مستقلة ويمكنك إدارتها بشكل منفصل." (صفحة الوكيل لا تتناول robots.txt للمتصفح نفسه)
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

Google-Agent "تستخدمه وكلاء مستضافة على بنية Google التحتية للتنقل في الويب وتنفيذ إجراءات بطلب من المستخدم". وبشأن Claude-Agent تقول Anthropic: "طابِق على الرمز Claude-Agent لا على السلسلة الكاملة".

أي بوتات الذكاء الاصطناعي لا تنتمي إلى هذه الفئات؟

ثلاثة، يوثّق مشغّل كل منها لمهمة مختلفة.

OAI-AdsBot (OpenAI)

  • جزء UA: OAI-AdsBot/1.0
  • الإثبات: ملف
  • robots.txt، بكلمات المشغّل: غير مقتبس (لم نجد تصريحاً في صفحة OpenAI)
  • تحقق GeoIPHub: غير محمَّل
  • تاريخ الفحص: 2026-11-09

CCBot (Common Crawl)

  • جزء UA: CCBot/2.0
  • الإثبات: ملف + DNS عكسي
  • robots.txt، بكلمات المشغّل: تعرض الصفحة User-agent: CCBot وDisallow: /
  • تحقق GeoIPHub: موثَّق (الفئة archiver)
  • تاريخ الفحص: 2026-11-09

Google-CloudVertexBot (Google)

  • جزء UA: Google-CloudVertexBot
  • الإثبات: ملف (ملف الزواحف الشائعة لدى Google)
  • robots.txt، بكلمات المشغّل: غير مقتبس
  • تحقق GeoIPHub: موثَّق (ملف الزواحف الشائعة المشترك)
  • تاريخ الفحص: 2026-11-09

OAI-AdsBot "يُستخدم للتحقق من سلامة صفحات الويب المقدَّمة بوصفها إعلانات على ChatGPT". وGoogle-CloudVertexBot "يزحف بطلب من أصحاب المواقع لبناء وكلاء Vertex AI". وتقول Common Crawl: "نحن على علم بزواحف تنتحل هوية CCBot زوراً". ويدرج مرجع AI Crawl Control لدى Cloudflare الزاحف CCBot زاحفَ ذكاء اصطناعي؛ وهذه الصلة بالتدريب من طرف ثالث، وليست من Common Crawl.

ما تكلّفه عملية حظر كل مهمة مشروح في حظر زواحف الذكاء الاصطناعي.

البوتات التي يطلقها المستخدم تتعامل مع robots.txt بطرق مختلفة، بكلمات مشغّليها أنفسهم

لا تشترك بوتات الذكاء الاصطناعي التي يطلقها المستخدم، مثل ChatGPT-User وPerplexity-User وClaude-User، في قاعدة robots.txt واحدة: كل مشغّل يقول شيئاً مختلفاً، وأحدهم لا يقول شيئاً خاصاً على الإطلاق. الجلب يعمل لصالح شخص واحد، وهذا هو السبب الذي يذكره معظمهم.

  • ChatGPT-User (OpenAI): "لأن هذه الإجراءات يبدؤها المستخدم، فقد لا تنطبق قواعد robots.txt."
  • Perplexity-User (Perplexity): "بما أن مستخدماً طلب الجلب، فإن أداة الجلب هذه تتجاهل عموماً قواعد robots.txt."
  • أدوات الجلب التي يطلقها المستخدم، ومنها Google-Agent (Google): "لأن الجلب طلبه مستخدم، فإن أدوات الجلب هذه تتجاهل عموماً قواعد robots.txt."
  • meta-externalfetcher (Meta): "قد يتجاوز robots.txt لأنه ينفّذ عمليات جلب طلبها المستخدم"
  • Amzn-User (Amazon): "لأن الإجراءات التي ينفّذها Amzn-User قد يبدؤها مستخدم، فقد لا يتبع كل توجيهات robots.txt."
  • Kimi-User (Moonshot): "لأن الإجراءات يطلقها المستخدم، فقد لا تنطبق قواعد robots.txt مباشرة"
  • MistralAI-User (Mistral): "يحدّد MistralAI-User المواقع التي يمكن توجيه طلبات المستخدمين هذه إليها."
  • Claude-User (Anthropic): "تحترم بوتات Anthropic إشارات «عدم الزحف» بالتزامها بالتوجيهات القياسية في الصناعة داخل robots.txt." و"يتيح Claude-User لأصحاب المواقع التحكم في المواقع التي يمكن الوصول إليها عبر هذه الطلبات التي يطلقها المستخدم."

Anthropic هي الاستثناء: جملتها لا تتضمن استثناءً لما يطلقه المستخدم. "قد لا تنطبق (may not apply)" و"تتجاهل عموماً (generally ignore)" و"قد يتجاوز (may bypass)" و"قد لا يتبع كل (may not follow all)" أربع درجات مختلفة من القوة، لذا فإن قاعدة واحدة للمجموعة كلها كانت ستحرّف معظمها.

أي زواحف الذكاء الاصطناعي تنشر نطاقات IP؟ 22 ملف نطاقات من 10 مشغّلين

ينشر عشرة مشغّلين 22 ملف نطاقات لبوتات الذكاء الاصطناعي التي استطعنا العثور عليها؛ ويحمّل GeoIPHub 17 منها. تأتي نطاقات IP لزواحف الذكاء الاصطناعي هذه في أربع حالات. تعطي OpenAI وPerplexity وMistral وملف الوكلاء لدى Google ملف JSON واحداً لكل بوت. وتشترك بوتات Anthropic الثلاثة في ملف واحد، وملفات Kimi الثلاثة وملفا DuckDuckGo متطابقة بايتاً ببايت. أما بوتات Amazon الثلاثة فلها صفحة ويب فقط، لكل منها creationTime خاص بها. ولا تنشر Meta وMistralAI-Training شيئاً، ولم نجد ملفاً لدى المشغّلين المذكورين في القسم الأخير. وينشر Claude-Agent بصيغة أحدث، هي ملف TOML في claude.com/.well-known/sail (draft-kelley-webbotauth-sail-00). ويتتبع مقال نطاقات IP لـ ClaudeBot وPerplexityBot استعلامًا حقيقيًا من كل ملف.

صف من البطاقات الزجاجية المعتّمة، على كل منها دبوس خريطة وصفوف من النقاط، وبطاقة مميّزة تحمل مفتاحاً زجاجياً تحت عدسة مكبّرة.
يُفحص ملف نطاقات واحد على حدة، لأن لكل بوت ملفه الخاص.

يحمّل GeoIPHub 19 ملف نطاقات رسمياً من 10 مشغّلين. وفي هذه القائمة 17 منها؛ والاثنان الآخران هما duckduckbot.json، المطابق لملف DuckDuckGo أدناه، وAhrefs، وهو ليس بوت ذكاء اصطناعي. والملفات الـ22 هي 20 قائمة مميزة. جُلبت في 9 نوفمبر 2026 الساعة 09:51 بالتوقيت العالمي المنسَّق، كلها برمز HTTP 200:

1. GPTBot

  • الملف: gptbot.json
  • بادئات IPv4 / IPv6: 18 / 0
  • creationTime: 2026-09-22
  • محمَّل: نعم

2. OAI-SearchBot

  • الملف: searchbot.json
  • بادئات IPv4 / IPv6: 39 / 0
  • creationTime: 2026-01-02
  • محمَّل: نعم

3. ChatGPT-User

  • الملف: chatgpt-user.json
  • بادئات IPv4 / IPv6: 237 / 0
  • creationTime: 2026-11-06
  • محمَّل: نعم

4. OAI-AdsBot

  • الملف: adsbot.json
  • بادئات IPv4 / IPv6: 2 / 0
  • creationTime: 2026-05-12
  • محمَّل: لا

5. ClaudeBot وClaude-User وClaude-SearchBot

  • الملف: bots.json
  • بادئات IPv4 / IPv6: 14 / 0
  • creationTime: 2026-10-20
  • محمَّل: نعم

6. Claude-Agent

  • الملف: sail (TOML)
  • بادئات IPv4 / IPv6: 9 / 0
  • creationTime: تاريخ التعديل 2026-10-22
  • محمَّل: لا

7. Googlebot والزواحف الشائعة، ومنها Google-CloudVertexBot

  • الملف: common-crawlers.json
  • بادئات IPv4 / IPv6: 170 / 147
  • creationTime: 2026-11-06
  • محمَّل: نعم

8. زواحف الحالات الخاصة

  • الملف: special-crawlers.json
  • بادئات IPv4 / IPv6: 136 / 136
  • creationTime: 2026-11-06
  • محمَّل: نعم

9. أدوات الجلب التي يطلقها المستخدم

10. أدوات الجلب التي يطلقها المستخدم (google.com)

11. Google-Agent

12. PerplexityBot

  • الملف: perplexitybot.json
  • بادئات IPv4 / IPv6: 13 / 0
  • creationTime: 2026-10-28
  • محمَّل: نعم

13. Perplexity-User

  • الملف: perplexity-user.json
  • بادئات IPv4 / IPv6: 10 / 0
  • creationTime: 2026-10-28
  • محمَّل: نعم

14. MistralAI-User

  • الملف: mistralai-user-ips.json
  • بادئات IPv4 / IPv6: 4 / 0
  • creationTime: 2025-02-19
  • محمَّل: نعم

15. MistralAI-Index

16. Bingbot

  • الملف: bingbot.json
  • بادئات IPv4 / IPv6: 29 / 0
  • creationTime: 2024-01-03
  • محمَّل: نعم

17. Applebot

  • الملف: applebot.json
  • بادئات IPv4 / IPv6: 24 / 0
  • creationTime: 2026-09-15
  • محمَّل: نعم

18. DuckAssistBot (القائمة نفسها في duckduckbot.json)

  • الملف: duckassistbot.json
  • بادئات IPv4 / IPv6: 486 / 0
  • creationTime: 2026-09-01
  • محمَّل: نعم

19. CCBot

  • الملف: ccbot.json
  • بادئات IPv4 / IPv6: 4 / 1
  • creationTime: 2026-08-11
  • محمَّل: نعم

20. KimiBot

  • الملف: kimibot.json
  • بادئات IPv4 / IPv6: 4 / 0
  • creationTime: 2026-05-18
  • محمَّل: لا

21. Kimi-User

  • الملف: kimi-user.json
  • بادئات IPv4 / IPv6: 4 / 0
  • creationTime: 2026-05-18
  • محمَّل: لا

22. Kimi-SearchBot

  • الملف: kimi-searchbot.json
  • بادئات IPv4 / IPv6: 4 / 0
  • creationTime: 2026-05-18
  • محمَّل: لا

تاريخ الملف لا يثبت أن القائمة لم تتغير: فقد انتقل ملف Bingbot من 28 إلى 29 بادئة بينما بقي تاريخه 2024-01-03. عددناها 28 في مقالنا بتاريخ 29 أكتوبر و29 في 9 نوفمبر، وليست لدينا نسخة أقدم، فلا نستطيع القول أي بادئة أُضيفت. وملفا Google للحالات الخاصة وللجلب الذي يطلقه المستخدم يغطيان أيضاً أدوات جلب ليست للذكاء الاصطناعي؛ وتدرج Google أدوات الجلب الخاصة بالذكاء الاصطناعي بينها.

صفحات Amazon الثلاث ليست ملفات. تحمل developer.amazon.com/amazonbot/ip-addresses/ (Amazonbot) و.../searchbot-ip-addresses/ (Amzn-SearchBot) و.../live-ip-addresses/ (Amzn-User) قيم creationTime مضمَّنة هي 2026-09-08 و2026-09-08 و2025-11-04. نحن لا نحمّلها. وملفا DuckDuckGo لهما بصمة MD5 نفسها، وكذلك ملفات Kimi الثلاثة. وملف Anthropic الواحد يغطي ثلاثة بوتات، وتقول Anthropic: "If a crawler has a source IP address on this list, it indicates that the crawler is coming from Anthropic." (إذا كان لزاحف عنوان IP مصدر في هذه القائمة، فهذا يدل على أن الزاحف قادم من Anthropic).

ست بادئات متطابقة في gptbot.json وsearchbot.json في هذا التاريخ: 4.227.36.0/25 و74.7.175.128/25 و74.7.228.0/25 و74.7.230.0/25 و74.7.241.128/25 و74.7.244.0/25. ولا يشترك chatgpt-user.json مع أي منها. ويبيّن قائمة IP للزواحف الموثَّقة كيف تبني قائمة سماح من هذه الملفات.

أي بوتات الذكاء الاصطناعي يستطيع GeoIPHub التحقق منها؟ 16 من 29 في 9 نوفمبر

تتحقق واجهة GeoIPHub البرمجية من عنوان حين يقع داخل ملف نحمّله، وهذا يثبت المشغّل لا البوت. استعلمنا عن عنوان حقيقي واحد من 14 ملفاً من الملفات الـ17 التي نحمّلها (كلها عدا ملف Google للحالات الخاصة وملفيه لأدوات الجلب التي يطلقها المستخدم)، إضافة إلى ثلاث حالات مقارنة، دون مفتاح، بفاصل نحو 14 ثانية، في 9 نوفمبر 2026 من الساعة 09:52 إلى 09:55 بالتوقيت العالمي المنسَّق. وأعاد كل استعلام موثَّق أيضاً verification_method: "ip_range_list" وscoring.recommended_action: "allow" وقيمة fraud_score تساوي 0.

OAI-SearchBot

  • العنوان (من الملف): 4.227.36.1 (searchbot.json وgptbot.json)
  • verified: true
  • name: OAISearchBot
  • operator: OpenAI
  • category: ai
  • UTC: 09:52:11

GPTBot

  • العنوان (من الملف): 132.196.86.1 (gptbot.json)
  • verified: true
  • name: GPTBot
  • operator: OpenAI
  • category: ai
  • UTC: 09:52:25

ChatGPT-User

  • العنوان (من الملف): 104.208.184.193
  • verified: true
  • name: ChatGPTUser
  • operator: OpenAI
  • category: ai
  • UTC: 09:52:39

ClaudeBot وClaude-SearchBot وClaude-User

  • العنوان (من الملف): 216.73.216.10 (bots.json)
  • verified: true
  • name: ClaudeBot
  • operator: Anthropic
  • category: ai
  • UTC: 09:52:52

PerplexityBot

  • العنوان (من الملف): 107.20.236.150
  • verified: true
  • name: PerplexityBot
  • operator: Perplexity
  • category: ai
  • UTC: 09:53:06

Perplexity-User

  • العنوان (من الملف): 18.97.43.80
  • verified: true
  • name: PerplexityUser
  • operator: Perplexity
  • category: ai
  • UTC: 09:53:20

MistralAI-User

  • العنوان (من الملف): 20.240.160.161
  • verified: true
  • name: MistralAIUser
  • operator: Mistral
  • category: ai
  • UTC: 09:53:33

MistralAI-Index

  • العنوان (من الملف): 135.225.57.92
  • verified: true
  • name: MistralAIIndex
  • operator: Mistral
  • category: ai
  • UTC: 09:53:47

Google-Agent

  • العنوان (من الملف): 136.121.16.1
  • verified: true
  • name: GoogleUserTriggeredAgent
  • operator: Google
  • category: ai
  • UTC: 09:54:01

Google-CloudVertexBot

  • العنوان (من الملف): 192.178.4.1 (common-crawlers.json)
  • verified: true
  • name: Googlebot
  • operator: Google
  • category: search_engine
  • UTC: 09:54:15

DuckAssistBot

  • العنوان (من الملف): 104.43.54.127
  • verified: true
  • name: DuckAssistBot
  • operator: DuckDuckGo
  • category: ai
  • UTC: 09:54:30

CCBot

  • العنوان (من الملف): 18.97.9.169
  • verified: true
  • name: CCBot
  • operator: CommonCrawl
  • category: archiver
  • UTC: 09:54:46

Applebot

  • العنوان (من الملف): 17.241.208.161
  • verified: true
  • name: Applebot
  • operator: Apple
  • category: search_engine
  • UTC: 09:55:00

Bingbot

  • العنوان (من الملف): 157.55.39.1
  • verified: true
  • name: Bingbot
  • operator: Microsoft
  • category: search_engine
  • UTC: 09:55:14

OAI-AdsBot (الملف غير محمَّل)

  • العنوان (من الملف): 130.131.229.129 (adsbot.json)
  • verified: false، is_crawler: false
  • name: لا شيء
  • operator: لا شيء
  • category: لا شيء
  • UTC: 09:55:28

Amazonbot (الصفحة غير محمَّلة)

  • العنوان (من الملف): 3.81.245.78 (صفحة Amazon)
  • verified: false، is_crawler: false
  • name: لا شيء
  • operator: لا شيء
  • category: لا شيء
  • UTC: 09:55:42

Meta (شبكة، بلا ملف)

  • العنوان (من الملف): 31.13.64.1
  • verified: false، unverified: true
  • name: Facebook-Bot
  • operator: Meta
  • category: social_preview
  • UTC: 09:55:56

الفخاخ في حقل name. فالـname هو تسمية الملف الذي حُمِّل أخيراً، لذا تعيد بوتات Anthropic الثلاثة كلها ClaudeBot، وتعيد عناوين DuckDuckBot القيمة DuckAssistBot، ويعيد Google-CloudVertexBot القيمة Googlebot. وcategory ليس حقل مهمة: يعيد CCBot القيمة archiver، ويعيد Applebot وBingbot القيمة search_engine. اعتمد مفتاحاً مركّباً من الرمز المُدَّعى وoperator، واكتب CommonCrawl دون مسافة.

المفاجأة كانت 4.227.36.1. فهو يقع داخل 4.227.36.0/25 التي يدرجها كل من gptbot.json وsearchbot.json. نسخة مختصرة من الاستجابة الحقيقية:

JSON
{ "threat": { "is_crawler": true, "crawler": { "verified": true, "unverified": false, "name": "OAISearchBot", "operator": "OpenAI", "category": "ai", "verification_method": "ip_range_list" } }, "scoring": { "fraud_score": 0, "recommended_action": "allow" }, "asn": { "asn": 8075 } }

لا نقول إن طلب GPTBot يعيد OAISearchBot. العنوان، الموجود في الملفين معاً، هو الذي يعيد ذلك الاسم، ولا يستطيع استعلامنا معرفة أي بوت أرسل الطلب. وتقول OpenAI نفسها إنها "may use the results from just one crawl for both use cases" (قد تستخدم نتائج زحف واحد للغرضين). الـIP يثبت OpenAI، والـUser-Agent يقول أي بوت؛ ويشرح مقال OpenAI ما يفعله كل بوت من بوتاتها.

أما حالات غير المحمَّل فواضحة. ملف OAI-AdsBot منشور والعنوان 130.131.229.129 داخله، لكن واجهتنا البرمجية تعيد is_crawler: false وإجابة استضافة (درجة 15، allow، AS8075 Microsoft). وصفحة Amazonbot نفسها تدرج 3.81.245.78 وتعيد الواجهة البرمجية النوع نفسه من الإجابة (درجة 16، allow، AS14618 Amazon). لا شيء في بياناتنا يفصل OAI-AdsBot حقيقياً عن أي عنوان آخر على تلك السحابة. أما 31.13.64.1 لدى Meta فهو عنوان على شبكة Meta (AS32934)، وverified: false؛ ولم نرصده وهو يزحف.

لا تعيد الواجهة البرمجية أي ملف طابق ولا متى جُلب، ولا يرى الاستعلام قيمة User-Agent لديك أبداً. تفاصيل الحقول في حقول الزواحف، ويمكنك لصق عنوان من سجلاتك مع قيمة User-Agent في أداة التحقق من IP الزواحف. وهي تقرأ threat.crawler.verified وتقارن المشغّل بالبوت الذي يسميه User-Agent لديك، داخل متصفحك.

افحص IP من سجلاتك مقابل الملف الصحيح

يأخذ هذا المقتطف عنوان IP من سطر في السجل وقيمة User-Agent التي يدّعيها، ويحمّل فقط ملف البوت المسمّى في User-Agent، ويبلّغ هل العنوان فيه وأي ملفات أخرى تدرجه أيضاً. لا يتخذ قرار سماح أو حظر ولا يكتب قائمة. هو نموذج وليس محلّلاً: User-Agent يحمل رمزَي بوت يطابق الأطول.

Python
import ipaddress, json, sys, urllib.request # claude.com returns 403 to Python's default User-Agent, so send our own. HEADERS = {"User-Agent": "ai-log-check/1.0 (+https://geoiphub.com)"} FILES = { # claimed UA token (lowercase), mapped to that bot's own range file; add bots in the same JSON shape "gptbot": "https://openai.com/gptbot.json", "oai-searchbot": "https://openai.com/searchbot.json", "chatgpt-user": "https://openai.com/chatgpt-user.json", "oai-adsbot": "https://openai.com/adsbot.json", "claudebot": "https://claude.com/crawling/bots.json", "claude-searchbot": "https://claude.com/crawling/bots.json", "claude-user": "https://claude.com/crawling/bots.json", "perplexitybot": "https://www.perplexity.ai/perplexitybot.json", "perplexity-user": "https://www.perplexity.ai/perplexity-user.json", "mistralai-user": "https://mistral.ai/mistralai-user-ips.json", "mistralai-index": "https://mistral.ai/mistralai-index-ips.json", "duckassistbot": "https://duckduckgo.com/duckassistbot.json", "ccbot": "https://index.commoncrawl.org/ccbot.json", } _cache = {} def nets(url): """Prefixes of one file; None if it cannot be fetched or parsed (fail closed).""" if url not in _cache: try: req = urllib.request.Request(url, headers=HEADERS) data = json.load(urllib.request.urlopen(req, timeout=15)) _cache[url] = [ipaddress.ip_network(p.get("ipv4Prefix") or p["ipv6Prefix"]) for p in data["prefixes"]] except Exception: _cache[url] = None return _cache[url] def check(ip, ua): ua = ua.lower() # A UA with two bot tokens matches the longest; this is a sample, not a parser. token = next((t for t in sorted(FILES, key=len, reverse=True) if t in ua), None) if token is None: return "no AI bot claimed", [] try: addr = ipaddress.ip_address(ip) except ValueError: return f"not verified: {ip!r} is not an IP address", [] own = nets(FILES[token]) if own is None: return f"not verified: {token} file unavailable", [] hits = sorted({u.rsplit("/", 1)[-1] for u in set(FILES.values()) if (n := nets(u)) and any(addr in x for x in n)}) own_name = FILES[token].rsplit("/", 1)[-1] if own_name in hits: return f"{token}: in {own_name}", [h for h in hits if h != own_name] return f"not verified: {ip} is not in {own_name}", hits if __name__ == "__main__": for line in sys.stdin: # each line: <ip> <user agent> ip, _, ua = line.strip().partition(" ") verdict, also = check(ip, ua) print(ip, "|", verdict, "| also in:", ", ".join(also) or "-")

كل سطر في السجل هو <ip> <User-Agent>. شغّلناه في 9 نوفمبر 2026 الساعة 10:01 بالتوقيت العالمي المنسَّق على هذه العيّنة، حيث 45.33.32.156 هو مضيف المسح العام لـNmap (ولم يُرسل أي طلب كهذا) و203.0.113.9 و2001:db8::1 عنوانان مخصصان للتوثيق:

Output
132.196.86.1 Mozilla/5.0 compatible; GPTBot/1.4 216.73.216.10 Mozilla/5.0 compatible; Claude-SearchBot 130.131.229.129 Mozilla/5.0 compatible; OAI-AdsBot/1.0 45.33.32.156 Mozilla/5.0 compatible; GPTBot/1.4 4.227.36.1 Mozilla/5.0 compatible; GPTBot/1.4 4.227.36.1 Mozilla/5.0 compatible; OAI-SearchBot/1.4 203.0.113.9 Mozilla/5.0 (Windows NT 10.0) Chrome/126.0 2001:db8::1 Mozilla/5.0 compatible; CCBot/2.0
Output
132.196.86.1 | gptbot: in gptbot.json | also in: - 216.73.216.10 | claude-searchbot: in bots.json | also in: - 130.131.229.129 | oai-adsbot: in adsbot.json | also in: - 45.33.32.156 | not verified: 45.33.32.156 is not in gptbot.json | also in: - 4.227.36.1 | gptbot: in gptbot.json | also in: searchbot.json 4.227.36.1 | oai-searchbot: in searchbot.json | also in: gptbot.json 203.0.113.9 | no AI bot claimed | also in: - 2001:db8::1 | not verified: 2001:db8::1 is not in ccbot.json | also in: -

ينجح OAI-AdsBot هنا لأن المقتطف يقرأ الملف بنفسه، مع أن واجهتنا البرمجية لا تحمّله. يقابل رمز User-Agent واحد ملفاً واحداً، اتباعاً لقاعدة Perplexity: "Each bot has its own IP ranges, so match each User-Agent against its own IP ranges." (لكل بوت نطاقات IP خاصة به، فطابِق كل User-Agent مع نطاقاته الخاصة). وتعني استحالة الوصول إلى الملف "غير موثَّق" وليس "موثَّقاً" أبداً: فحين وجّهنا SSL_CERT_FILE إلى مسار غير موجود، طبع كل سطر not verified: ... file unavailable. وسلسلة IP خاطئة تطبع "not verified" بدلاً من إيقاف التشغيل. يضبط المقتطف User-Agent خاصاً به لأن claude.com أعاد 403 لقيمة Python الافتراضية في 9 نوفمبر 2026 بينما أعادت الملفات الأخرى 200.

أما للبوتات التي لا ملف لها، فالطرق مشروحة في كيفية التحقق من زواحف الذكاء الاصطناعي ووكلائه: DNS العكسي والتوقيعات. تقول Google إنها "is also experimenting with the Web Bot Auth protocol" (تجرّب أيضاً بروتوكول Web Bot Auth)، مستخدمةً الهوية https://agent.bot.goog، وينشر YouBot دليل توقيعات.

أسماء لا تصل إلى سجلاتك، وبوتات لم نجد لها مصدراً

بعض الأسماء في قوائم أخرى ليست زواحف، أو ليس لها صفحة مشغّل استطعنا فتحها. وثلاثة منها رموز تحكّم لا تظهر أبداً طالباً للصفحة، فلا يمكن تسجيلها ولا التحقق منها عبر IP.

Google-Extended (Google)

  • هل يظهر في سجلاتك؟: لا
  • بكلمات المشغّل: "لا تملك Google-Extended سلسلة User-Agent منفصلة لطلبات HTTP. يجري الزحف بسلاسل Google User-Agent الموجودة؛ ويُستخدم رمز user-agent في robots.txt بصفة تحكّم."
  • من يلتزم به: Google

Applebot-Extended (Apple)

  • هل يظهر في سجلاتك؟: لا
  • بكلمات المشغّل: "لا يزحف Applebot-Extended إلى صفحات الويب." و"يُستخدم Applebot-Extended فقط لتحديد كيفية استخدام البيانات التي زحف إليها User-Agent باسم Applebot."
  • من يلتزم به: Apple

__usage_ai-training (مشترك (مسودة IETF aipref))

  • هل يظهر في سجلاتك؟: لا، إنه اسم مجموعة في robots.txt
  • بكلمات المشغّل: Microsoft: "ابتداءً من 1 فبراير 2027، ستلتزم Microsoft بالتفضيلات الجديدة أثناء الزحف". Google: "تعتزم دعم إشارة تفضيل التدريب AIPREF المشتركة المقروءة آلياً (مع «user-agent: __usage_ai-training») في أوائل 2027". Anthropic: "اعتباراً من 30 أكتوبر 2026، بدأت Anthropic التعرف على إشارة مقروءة آلياً"
  • من يلتزم به: Anthropic اعتباراً من 2026-10-30 (لا تذكر صفحتها اسم الرمز)؛ Microsoft اعتباراً من 2027-02-01؛ Google "أوائل 2027" (نية)؛ OpenAI لم نتحقق

تقول صفحة Anthropic إن إشارتها تستند إلى "مسودة قائمة على عمل أنجزته IETF ... في مجموعة العمل aipref التابعة لها". لم نستطع فتح صفحات المساعدة لدى OpenAI، لذا لا ندّعي شيئاً عن OpenAI.

في 9 نوفمبر 2026 لم نجد صفحة يديرها المشغّل للبوتات أدناه. تبيّن هذه القائمة ما فحصناه. قد يكون بوت غير مذكور هنا موجوداً؛ ولا نقول إن هؤلاء المشغّلين لا يشغّلون زاحفاً.

ByteDance: Bytespider

  • ما فحصناه في 2026-11-09: bytedance.com/robots.txt؛ bytedance.com/en/bytespider (404)؛ bytespider.bytedance.com (لا DNS)؛ الصفحة الرئيسية zhanzhang.toutiao.com (لا نص عن الزاحف)
  • النتيجة: لم نجد صفحة لـByteDance. تختلف أطراف ثالثة في وجود نطاقات، لذلك لا نذكر مهمة ولا نطاقاً

xAI: رموز متعلقة بـGrok

  • ما فحصناه في 2026-11-09: docs.x.ai/llms.txt (لا نص عن الزاحف أو robots.txt)؛ docs.x.ai/docs/crawler (404)؛ x.ai/grok-bot.json (403)
  • النتيجة: لم نجد شيئاً

Cohere: cohere-ai وcohere-training-data-crawler

  • ما فحصناه في 2026-11-09: docs.cohere.com/docs/cohere-web-crawlers (تُفتح؛ جدول البوتات يقرأ "N/A")؛ cohere.com/crawler (404)؛ cohere.com/cohere-ai.json (404)
  • النتيجة: تقول الصفحة: "لا نستخدم بوتات Cohere أو User-Agent الخاصة بها لزحف محتوى الويب أو كشطه بغرض تدريب نماذج الذكاء الاصطناعي التوليدي الأساسية في الوقت الحالي."

DeepSeek: DeepSeekBot

  • ما فحصناه في 2026-11-09: deepseek.com/robots.txt؛ api-docs.deepseek.com/llms.txt (لا نتائج)؛ deepseek.com/deepseekbot.json (404)
  • النتيجة: لم نجد شيئاً

بعض الأسماء قديمة. فـanthropic-ai وClaude-Web ليسا في صفحة Anthropic، وFacebookBot ليس في صفحة Meta، وGemini-Deep-Research لا يظهر في أي من صفحات زواحف Google الأربع التي قرأناها. وبما أنها غير موثَّقة في الصفحات التي قرأناها، فلا ندرج أياً منها بوتاً.

كيف فُحصت هذه القائمة، وكيف تتغير

فحص GeoIPHub قائمة زواحف الذكاء الاصطناعي هذه بفتح صفحة كل مشغّل وجلب كل ملف وإعادة العدّ وتشغيل الاستعلامات أعلاه. ولا يتغير تاريخ الإدخال إلا حين نعيد فحص ذلك الإدخال.

التغييرات التي رأيناها، لكل منها تاريخه: انتقل ملف Bingbot من 28 إلى 29 بادئة وتاريخه مجمَّد عند 2024-01-03. وضمّ ملف ChatGPT-User 234 بادئة، ثم 235 في 29 أكتوبر، ثم 237 في ملف مؤرخ 6 نوفمبر 2026. وضمّ ملفا Perplexity 4 و8 بادئات في 27 أكتوبر، و10 و13 في 28 أكتوبر. وكان ملف Anthropic يضم 38 بادئة في مقالنا عن حظر زواحف الذكاء الاصطناعي (الملف مؤرخ 7 أكتوبر) وهو الآن يضم 14، مؤرخاً 20 أكتوبر. لا نذكر جدول تحديث، لا للمشغّلين ولا لواجهتنا البرمجية. لا تعيد الواجهة البرمجية تاريخ الجلب، لذا قد لا يُوثَّق بعدُ ما أضافه مشغّل مؤخراً من بادئات.

الاسم في الترويسة ادّعاء، والإثبات هو ملف المشغّل حين ينشر المشغّل ملفاً.

الأسئلة الشائعة

ما هي قائمة زواحف الذكاء الاصطناعي؟

قائمة بالعملاء الآليين الذين تشغّلهم شركات الذكاء الاصطناعي ومنتجات البحث لجلب صفحات الويب، مع User-Agent كل منها ومهمته (تدريب أو بحث أو جلب يطلقه المستخدم أو وكيل) وطريقة إثباته. في 9 نوفمبر 2026 تضم قائمة GeoIPHub 29 بوتاً يوثّقها مشغّلوها، وتتحقق واجهة GeoIPHub البرمجية من 16 منها عبر IP.

ما الفرق بين GPTBot وClaudeBot؟

GPTBot هو زاحف التدريب لدى OpenAI وClaudeBot هو زاحف Anthropic. ينشر كل منهما ملف نطاقات، ويغطي ملف Anthropic الواحد أيضاً Claude-User وClaude-SearchBot. تتحقق واجهة GeoIPHub البرمجية من عنوان في أي من الملفين. وما يفعله كل بوت من بوتات OpenAI مشروح في GPTBot vs OAI-SearchBot vs ChatGPT-User.

أي زواحف الذكاء الاصطناعي تنشر نطاقات IP؟

في 9 نوفمبر 2026 ينشر عشرة مشغّلين 22 ملف نطاقات لبوتات الذكاء الاصطناعي التي استطعنا العثور عليها: OpenAI وAnthropic وGoogle وPerplexity وMistral وMicrosoft وApple وDuckDuckGo وCommon Crawl وMoonshot. يحمّل GeoIPHub 17 منها. تسرد Amazon العناوين في صفحات ويب، ولا تنشر Meta وMistralAI-Training شيئاً.

هل يمكن التحقق من زاحف ذكاء اصطناعي عبر User-Agent؟

لا. User-Agent سلسلة نصية يستطيع أي عميل إرسالها. يأخذ استعلام GeoIPHub عنوان IP فقط: يستطيع إخبارك بأن العنوان داخل ملف OpenAI أو Anthropic، وتقارن شيفرتك أنت ذلك المشغّل بالبوت الذي يسمّيه User-Agent.

ما User-Agent الذي يستخدمه زاحف الذكاء الاصطناعي لدى Meta؟

توثّق Meta القيمة meta-externalagent/1.1 للتدريب، وmeta-webindexer/1.1 لبحث Meta AI، وmeta-externalfetcher/1.1 لعمليات الجلب التي يطلبها المستخدم. لا تنشر Meta ملف نطاقات، لذلك يطابق GeoIPHub شبكتها عبر ASN ويعيد verified: false.

هل CCBot زاحف ذكاء اصطناعي؟

CCBot هو زاحف Common Crawl، وتنشر Common Crawl له ملف IP وDNS عكسياً. تسمّيه قوائم أخرى زاحف ذكاء اصطناعي لأن الأرشيف الذي يبنيه قد يُستخدم في التدريب؛ وهذه الصلة من عندها، وليست تصريحاً من Common Crawl. يتحقق GeoIPHub من ملفه ويعيد الفئة archiver.

بقلم

فريق GeoIPHub

الفريق الذي يقف وراء واجهة GeoIPHub API

بقلم فريق GeoIPHub، وهم من يبنون واجهة GeoIPHub API لاستخبارات IP وماسحها. تُعَدّ المسودات بمساعدة الذكاء الاصطناعي ويحررها الفريق، وأمثلة API استعلامات حقيقية على واجهة API الحية ما لم تُوصف بأنها توضيحية.

شارك هذا المقال
مزيد من المقالات

مقالات ذات صلة