أمن الشبكاتكيف تتحقق من Googlebot عبر عنوان IP وتكشف Googlebot المزيف
كيفية التحقق من Googlebot: فحص DNS عكسي ثم أمامي، ونطاقات IP التي تنشرها Google، واستعلام حقيقي يعرض Googlebot موثّقاً بجانب آخر منتحَل.
الـ User-Agent هو الجزء الذي يتحكم فيه المنتحل. ففي اختبار استمر 14 يوماً على موقع جديد نشرته Search Engine Journal، لم يصدر من عنوان Google موثّق سوى 107 طلبات من أصل 799 طلباً تسمّي نفسها Googlebot. هذا موقع صغير واحد، فاقرأ الرقم تحذيراً لا نسبة عامة. فيما يلي الفحص اليدوي، ثم الفحص الآلي، ثم استعلام حقيقي لـ Googlebot صحيح وآخر مزيف جنباً إلى جنب.
لماذا لا يثبت User-Agent الخاص بـ Googlebot شيئاً
سلسلة User-Agent هي ادعاء يطلقه العميل عن نفسه، ويستطيع أي عميل إرسال أي سلسلة. ينسخ مستخرجو البيانات سلسلة Googlebot لأن مواقع كثيرة تعامله معاملة طيبة: بلا حدود للمعدل، ولا جدران تسجيل دخول، ولا تحديات للبوتات. وهذا يجعل الاسم قناعاً يستحق ارتداءه.
وكلفة تصديقه تقع في الاتجاهين. إن مرّرت Googlebot مزيفاً حصل مستخرج البيانات على محتواك بسرعة زاحف (يوضح دليلنا عن اكتشاف بوتات استخراج البيانات في سجلات الوصول شكل ذلك). وإن حظرت الحقيقي بالخطأ سقطت صفحاتك من فهرس Google. والحل واحد في الحالتين: تحقق من العنوان. يغطي دليلنا الأوسع عن التحقق من زواحف الذكاء الاصطناعي عبر IP كلاً من GPTBot وClaudeBot والوكلاء الموقِّعين لطلباتهم، ويبيّن مقارنتنا بين بوتات OpenAI الرئيسية: GPTBot وOAI-SearchBot وChatGPT-User أيّها تحظره؛ أما هذا المقال فيقتصر على زواحف Google.
كيف تتحقق من Googlebot يدوياً: DNS عكسي ثم DNS أمامي
توثّق Google فحص DNS من خطوتين، والخطوتان مهمتان. وهذا هو الفحص على عنوان Googlebot حقيقي، نُفّذ بتاريخ 2026-10-05:
# 1. Reverse lookup: which hostname does the IP claim?
dig +short -x 66.249.66.1
# crawl-66-249-66-1.googlebot.com.
# 2. Forward lookup: does that hostname point back to the same IP?
dig +short crawl-66-249-66-1.googlebot.com
# 66.249.66.1
ينتهي اسم المضيف بـ googlebot.com ويُحلّ إلى العنوان الأصلي نفسه، فالطلب إذن صادر من Google. تخطي الخطوة 2 هو الخطأ الشائع. فمن يتحكم في عنوان IP يتحكم أيضاً في سجل DNS العكسي الخاص به، لذا يستطيع مستخرج البيانات تسمية خادمه crawl-fake.googlebot.com. لكنه لا يستطيع جعل DNS الخاص بـ Google يعيد توجيه ذلك الاسم إلى خادمه. الاستعلام الأمامي هو ما يجعل الفحص غير قابل للتزوير.
ينجح هذا جيداً مع عنوان واحد تحقق فيه. لكنه بطيء مع سجل مزدحم، لأن كل عنوان جديد يحتاج استعلامي DNS، وتتحول إخفاقات DNS إلى "تزييف" كاذب.
نطاقات IP لـ Googlebot: ثلاثة أنواع من الزواحف وثلاثة ملفات نطاقات
تنقسم زواحف Google إلى ثلاث مجموعات، ولكل منها أسماء مضيفين خاصة بها وقائمة IP منشورة خاصة بها. ومطابقة العنوان مع الملف الصحيح هي النسخة الآلية من فحص DNS، وبها يتم معظم التحقق على نطاق واسع.
| النوع | أمثلة | شكل DNS العكسي | ملف النطاقات | يلتزم بـ robots.txt |
|---|---|---|---|---|
| الزواحف الشائعة | Googlebot | crawl-*.googlebot.com أو geo-crawl-*.geo.googlebot.com | common-crawlers.json | دائماً، في عمليات الزحف التلقائية |
| الزواحف ذات الحالات الخاصة | AdsBot | rate-limited-proxy-*.google.com | special-crawlers.json | قد يلتزم وقد لا يلتزم |
| الجالبات التي يطلقها المستخدم | Google Site Verifier، وعمليات الجلب التي يطلبها مستخدم | *.gae.googleusercontent.com أو google-proxy-*.google.com | user-triggered-fetchers.json وuser-triggered-fetchers-google.json وuser-triggered-agents.json | لا، لأن مستخدماً طلب الجلب |
هناك تفصيلان يربكان السكربتات القديمة. الأول أن الملفات انتقلت: فعنوان googlebot.json القديم يرد الآن بإعادة توجيه 301 إلى /static/crawling/ipranges/common-crawlers.json، فالشيفرة التي لا تتبع إعادة التوجيه لا تحصل على شيء بصمت. والثاني أن صفحة التحقق لدى Google لا تذكر جدولاً زمنياً للتحديث. فالملفات التي جلبناها بتاريخ 2026-10-29 كان تاريخها اليوم السابق؛ أما النسخة التي جلبناها بتاريخ 2026-10-05 فقد أُنشئت بتاريخ 2026-10-02 وتضم 317 بادئة، منها 170 بادئة IPv4. خزّن الملف مؤقتاً، لكن حدّثه مرة واحدة يومياً على الأقل.
مصدر الجدول: صفحة Google Verify requests from Google crawlers and fetchers.
Googlebot حقيقي وآخر مزيف جنباً إلى جنب
أسرع طريقة لرؤية الفرق هي الاستعلام عن العنوانين. نفّذنا استعلامين بتاريخ 2026-10-05 (تتغير النتائج مع تحرك النطاقات). الأول هو 66.249.66.1، عنوان Googlebot الوارد في وثائق Google نفسها. والثاني هو 104.248.50.21، وهو خادم DigitalOcean: تخيّل أن سجلك يُظهر أنه يرسل User-Agent خاصاً بـ Googlebot.
[
{
"ip": "66.249.66.1",
"asn": { "asn": 15169, "org": "GOOGLE - Google LLC", "asn_type": "hosting", "user_type": "search_engine_spider" },
"detection": { "is_hosting": true, "is_vpn": false, "is_proxy": false, "is_tor": false },
"threat": {
"is_crawler": true,
"crawler": {
"verified": true,
"name": "Googlebot",
"operator": "Google",
"category": "search_engine",
"verification_method": "ip_range_list"
}
},
"scoring": {
"fraud_score": 0,
"recommended_action": "allow",
"detection_methods": ["datacenter_ip", "no_ptr_datacenter", "verified_crawler"]
}
},
{
"ip": "104.248.50.21",
"asn": { "asn": 14061, "org": "DIGITALOCEAN-ASN - DigitalOcean, LLC", "asn_type": "hosting", "user_type": "hosting" },
"detection": { "is_hosting": true, "is_vpn": false, "is_proxy": false, "is_tor": false },
"threat": {
"is_crawler": false,
"crawler": { "verified": false, "name": "none", "verification_method": "none" }
},
"scoring": {
"fraud_score": 15,
"recommended_action": "allow",
"detection_methods": ["datacenter_ip", "no_ptr_datacenter"]
}
}
]
العنوان الأول داخل قائمة نطاقات Google، لذا تكون قيمة threat.crawler.verified هي true ويبيّن verification_method الطريقة: ip_range_list. وتخفض إشارة verified_crawler قيمة fraud_score إلى 0. أما الثاني فخادم سحابي عادي. إنه ليس زاحفاً من أي نوع، لذا فإن أي طلب صادر منه يحمل User-Agent خاصاً بـ Googlebot هو مزيف بالتعريف.
لاحظ ما لا تفعله الدرجة. فالمزيف يحصل على 15 وallow، لأن الخادم السحابي في حد ذاته ليس خبيثاً. إن حكم "Googlebot مزيف" ينشأ من الجمع بين حقيقتين: سجلك يقول Googlebot، والاستعلام يقول إنه ليس Google. تتعامل الواجهة مع عنوان IP لا مع ترويساتك، لذا فهذه المقارنة من شأنك أنت:
const claimsGooglebot = /Googlebot/i.test(req.headers["user-agent"] ?? "");
const res = await fetch(`https://api.geoiphub.com/v1/lookup/${clientIp}`, {
headers: { "x-api-key": process.env.GEOIPHUB_KEY },
});
const ip = await res.json();
const isRealGoogle = ip.threat.crawler.verified && ip.threat.crawler.operator === "Google";
if (claimsGooglebot && !isRealGoogle) {
// Treat as an ordinary unverified bot: rate-limit or challenge it.
}
يمكنك تجربة العنوانين في أداة استعلام IP المجانية بدون مفتاح.
ماذا تفعل مع Googlebot المزيف
عامل الفحص الفاشل على أنه "بوت غير موثّق" لا على أنه هجوم. فالطلب صادر من طرف ينتحل صفة Google، وهذا يخبرك بأنه يريد معاملة الزواحف. أزل عنه تلك المعاملة وتعامل معه كأي عميل آلي آخر.
- أسقط تسهيلات الزواحف. لا تجاوز لحدود المعدل أو جدران الدفع أو تحديات البوتات لاسم Googlebot لم يتم التحقق منه.
- قيّد المعدل بحسب الشبكة لا بحسب العنوان. يبدّل مستخرجو البيانات عناوين IP داخل مزوّد واحد. وبالنسبة لمصادر IPv6 اعتمد البادئة، كما في دليلنا عن تقييد معدل IPv6 بحسب بادئة /64.
- لا تحظر عنوان Google موثّقاً بالخطأ أبداً. نفّذ التحقق قبل أي قاعدة حظر، حتى لا تلتقط قاعدة واسعة لحظر الاستضافة أو ASN الـ Googlebot الحقيقي.
- تحقق من عنوان IP الحقيقي للعميل. استخدم العنوان المتصل، أو ترويسة إعادة التوجيه فقط حين يضبطها الوكيل أو CDN الخاص بك. يستطيع العميل كتابة أي قيمة في
X-Forwarded-For، بما فيها عنوان Googlebot حقيقي. - اسمح بالمرور عند أخطاء DNS. انتهاء مهلة الاستعلام العكسي ليس دليلاً على التزييف. ارجع إلى ملف النطاقات، أو مرّر الطلب وافحصه لاحقاً.
- احتفظ بالأدلة. سجّل User-Agent المدّعى والعنوان ونتيجة التحقق، لتتمكن من قياس نسبة حركة "Googlebot" الحقيقية.
ينطبق النمط نفسه عند الدفع والتسجيل، حيث تدّعي الوكلاء الآليون بشكل متزايد أنهم بوتات معروفة. ويبيّن دليلنا عن حظر احتيال وكلاء التسوق بالذكاء الاصطناعي عند الدفع كيف يندرج مؤشر الزاحف الموثّق أو غير الموثّق في قرار الدفع. أما عن فئات البوتات الأخرى التي يستطيع استعلام IP تحديدها أو لا يستطيع، فراجع نظرتنا العامة عن ما تكشفه بيانات IP عن البوت.
حيث يقصّر التحقق عبر IP
تخبرك مطابقة النطاقات بأن العنوان ينتمي إلى زواحف Google. لكن لها حدوداً يجدر معرفتها قبل الاعتماد عليها.
- نغطي جميع ملفات Google، كل منها باسمه. يتحقق GeoIPHub من الزواحف عبر 19 مصدراً رسمياً للنطاقات، بما فيها ملفات Google الخمسة كلها في الجدول أعلاه: الزواحف الشائعة، والزواحف ذات الحالات الخاصة، والملفات الثلاثة للجالبات التي يطلقها المستخدم. بتاريخ 2026-10-08 أعاد العنوان
107.178.192.1من user-triggered-fetchers.json القيمةverified: trueمعname: "GoogleUserTriggeredFetcher"لاGooglebot. افحصthreat.crawler.nameوليسverifiedفقط. - قد يوجد تأخر قصير. لا تذكر Google جدولاً زمنياً لتحديث ملفاتها. نعيد جلبها يومياً ونعيد بناء قاعدة بيانات الاستعلام لدينا يومياً، لذا قد تحتاج بادئة Google جديدة كلياً إلى يومين تقريباً حتى يتم التحقق منها عبرنا. أما فحص DNS فلا تأخر فيه.
- لا يحتوي سجلنا على DNS عكسي لهذه العناوين. ولهذا تظهر
no_ptr_datacenterعلى Googlebot الحقيقي أعلاه، مع أنdigيعيدcrawl-66-249-66-1.googlebot.com. الحكم يأتي من قائمة النطاقات وهي المسار الموثوق، لكن تسمية الطريقة مضللة. وقد سجّلناها كخطأ. - الطلبات الموقَّعة قادمة، لكن ليس لـ Googlebot بعد. تختبر Google Web Bot Auth، الذي يتيح للوكيل توقيع طلباته تشفيرياً، مع بعض وكلاء الذكاء الاصطناعي على بنيتها التحتية. وهي لا توقّع كل طلب، وتقول Google إن عليك الرجوع إلى الفحوصات المعتمدة أعلاه. يغطي دليل التحقق من زواحف الذكاء الاصطناعي لدينا كيفية التحقق من التوقيع.
- عنوان Google حقيقي لا يعني دائماً Googlebot. تحمل شبكة Google، AS15169، خدمات مثل Google Public DNS (
8.8.8.8)، الذي يقيّمه استعلامنا استضافة عادية لا زاحفاً. ملفات نطاقات الزواحف وحدها هي المعتبرة، لذا لا تضع AS15169 كاملاً في قائمة السماح أبداً.
ابدأ برقم واحد من سجلاتك: كم طلباً في الأسبوع الماضي ادّعى أنه Googlebot، وكم من عناوين IP تلك تجتاز فحص DNS المؤكَّد أمامياً. الفرق بين الرقمين هو حركة Googlebot المزيفة لديك، وهو عادةً أكبر مما يتوقع الناس.
الأسئلة الشائعة
ما عنوان IP الخاص بـ Googlebot؟
ليس لـ Googlebot عنوان IP واحد. فهو يزحف من بادئات كثيرة تنشرها Google في الملف common-crawlers.json دون جدول زمني معلن للتحديث؛ والنسخة التي جلبناها بتاريخ 2026-10-05 ضمّت 317 بادئة، منها 170 بادئة IPv4. والعنوان 66.249.66.1، وهو المثال في وثائق Google نفسها، واحد منها. تحقق دائماً من العنوان مقابل الملف الحالي بدلاً من قائمة مكتوبة يدوياً.
كيف أتحقق من أن الطلب صادر فعلاً من Googlebot؟
افحص عنوان IP لا User-Agent. نفّذ استعلام DNS عكسياً على العنوان وتأكد من أن اسم المضيف ينتهي بـ googlebot.com أو google.com أو googleusercontent.com، ثم نفّذ استعلاماً أمامياً على ذلك الاسم وتأكد من أنه يعيد العنوان نفسه. وعلى نطاق واسع، طابق العنوان مع ملفات النطاقات التي تنشرها Google، بدءاً بـ common-crawlers.json الخاص بـ Googlebot.
أين تنشر Google نطاقات IP الخاصة بـ Googlebot؟
في ملفات JSON مرتبطة من صفحة Google بعنوان 'Verify requests from Google crawlers and fetchers'. يوجد Googlebot وسائر الزواحف الشائعة في common-crawlers.json. أما العنوان القديم googlebot.json فيعيد الآن إعادة توجيه 301 إلى ذلك الملف. وللزواحف ذات الحالات الخاصة مثل AdsBot وللجالبات التي يطلقها المستخدم ملفاتها الخاصة.
هل كل عنوان IP لدى Google هو عنوان Googlebot؟
لا. تحمل شبكة Google (AS15169) خدمات أخرى أيضاً، مثل Google Public DNS على العنوان 8.8.8.8. والعناوين الواقعة داخل ملفات نطاقات الزواحف وحدها هي زواحف Google، لذا فإن قائمة السماح المبنية على ASN واسعة أكثر من اللازم. في استعلامنا، تم التحقق من 66.249.66.1 على أنه Googlebot، بينما لم يُوثَّق خادم DigitalOcean يدّعي الاسم نفسه.
هل أحظر الطلبات التي تدّعي أنها Googlebot لكنها تفشل في التحقق؟
عاملها كعميل عادي غير موثّق، لا كـ Googlebot. قيّد معدل طلباتها أو اطلب منها اجتياز تحدٍّ كما تفعل مع أي بوت آخر. لا تمنحها تسهيلات الزحف التي تمنحها لـ Googlebot الحقيقي، وتأكد من أن قواعدك لا يمكن أن تحظر عنوان Google موثّقاً.
الفريق الذي يقف وراء واجهة GeoIPHub API
بقلم فريق GeoIPHub، وهم من يبنون واجهة GeoIPHub API لاستخبارات IP وماسحها. تُعَدّ المسودات بمساعدة الذكاء الاصطناعي ويحررها الفريق، وأمثلة API استعلامات حقيقية على واجهة API الحية ما لم تُوصف بأنها توضيحية.
استخبارات IP