Googlebot per IP verifizieren und gefälschte Googlebots erkennen

Der User-Agent ist genau der Teil, den ein Betrüger kontrolliert. In einem 14-tägigen Test auf einer neuen Website, den Search Engine Journal veröffentlicht hat, kamen nur 107 von 799 Anfragen, die sich als Googlebot ausgaben, von einer verifizierten Google-Adresse. Das ist eine einzige kleine Website, lesen Sie die Zahl also als Warnung, nicht als Quote. Im Folgenden finden Sie die manuelle Prüfung, die automatisierte Prüfung und eine echte Abfrage eines echten und eines gefälschten Googlebots im direkten Vergleich.

Warum ein Googlebot-User-Agent nichts beweist

Ein User-Agent-String ist eine Behauptung, die der Client über sich selbst aufstellt, und jeder Client kann jeden beliebigen String senden. Scraper kopieren den von Googlebot, weil viele Websites ihn wohlwollend behandeln: keine Rate-Limits, keine Login-Sperren, keine Bot-Challenges. Damit ist der Name eine Verkleidung, die sich lohnt.

Wer ihm glaubt, zahlt in beide Richtungen drauf. Lassen Sie einen gefälschten Googlebot durch, bekommt ein Scraper Ihre Inhalte in Crawler-Geschwindigkeit (unser Leitfaden zum Erkennen von Scraping-Bots in Ihren Access-Logs zeigt, wie das aussieht). Blockieren Sie versehentlich einen echten, fallen Ihre Seiten aus dem Google-Index. Die Lösung ist in beiden Fällen dieselbe: Verifizieren Sie die Adresse. Unser umfassenderer Leitfaden zum Verifizieren von KI-Crawlern per IP behandelt GPTBot, ClaudeBot und signierte Agents, und unser Vergleich der wichtigsten Bots von OpenAI, GPTBot, OAI-SearchBot und ChatGPT-User zeigt, welche davon Sie blockieren sollten; dieser Beitrag behandelt ausschließlich die Crawler von Google.

Googlebot manuell verifizieren: erst Reverse DNS, dann Forward DNS

Google dokumentiert eine zweistufige DNS-Prüfung, und beide Schritte sind wichtig. Hier ist sie an einer echten Googlebot-Adresse, ausgeführt am 5. Oktober 2026:

Der Hostname endet auf googlebot.com und löst wieder auf die ursprüngliche IP auf, die Anfrage kam also von Google. Schritt 2 auszulassen ist der häufigste Fehler. Wer eine IP kontrolliert, kontrolliert auch ihren Reverse-DNS-Eintrag, ein Scraper kann seinen eigenen Server also crawl-fake.googlebot.com nennen. Er kann aber nicht dafür sorgen, dass Googles DNS diesen Namen wieder auf seinen Server zeigen lässt. Erst die Forward-Abfrage macht die Prüfung fälschungssicher.

Für eine einzelne Adresse, die Sie untersuchen, funktioniert das gut. Für ein stark frequentiertes Log ist es langsam, denn jede neue IP braucht zwei DNS-Anfragen, und DNS-Fehler werden zu vermeintlichen „Fälschungen“.

Googlebot-IP-Bereiche: drei Crawler-Typen, drei Bereichsdateien

Die Crawler von Google fallen in drei Gruppen, und jede hat eigene Hostnamen und eine eigene veröffentlichte IP-Liste. Eine IP mit der richtigen Datei abzugleichen ist die automatisierte Variante der DNS-Prüfung, und so wird Verifizierung bei großem Volumen meist umgesetzt.

Zwei Details bringen ältere Skripte ins Straucheln. Erstens sind die Dateien umgezogen: Die alte URL googlebot.json antwortet jetzt mit einer 301-Weiterleitung auf /static/crawling/ipranges/common-crawlers.json, Code, der Weiterleitungen nicht folgt, bekommt also stillschweigend nichts. Zweitens nennt Googles Verifizierungsseite keinen Aktualisierungsrhythmus. Die Dateien, die wir am 29. Oktober 2026 abgerufen haben, waren auf den Vortag datiert; die Version, die wir am 5. Oktober 2026 abgerufen haben, wurde am 2. Oktober 2026 erzeugt und enthält 317 Präfixe, davon 170 IPv4. Cachen Sie die Datei, aber aktualisieren Sie sie mindestens täglich.

Quelle der Tabelle: Googles Seite Verify requests from Google crawlers and fetchers.

Ein echter und ein gefälschter Googlebot im direkten Vergleich

Am schnellsten sehen Sie den Unterschied, wenn Sie beide Adressen abfragen. Wir haben am 5. Oktober 2026 zwei Abfragen ausgeführt (die Ergebnisse ändern sich, wenn sich Bereiche verschieben). Die erste ist 66.249.66.1, die Googlebot-Adresse aus Googles eigener Dokumentation. Die zweite ist 104.248.50.21, ein DigitalOcean-Server: Stellen Sie sich vor, Ihr Log zeigt, dass er einen Googlebot-User-Agent sendet.

Die erste Adresse liegt in Googles Bereichsliste, daher ist threat.crawler.verified gleich true, und verification_method gibt an, wie verifiziert wurde: ip_range_list. Das Signal verified_crawler drückt ihren fraud_score auf 0. Die zweite ist ein gewöhnlicher Cloud-Server. Sie ist überhaupt kein Crawler, eine Anfrage von dort mit einem Googlebot-User-Agent ist also per Definition eine Fälschung.

Beachten Sie, was der Score nicht tut. Die Fälschung erhält 15 und allow, denn ein Cloud-Server allein ist nicht bösartig. Das Urteil „gefälschter Googlebot“ entsteht aus der Kombination zweier Fakten: Ihr Log sagt Googlebot, die Abfrage sagt nicht Google. Die API sieht die IP, nicht Ihre Header, diesen Abgleich müssen Sie also selbst vornehmen:

Sie können beide Adressen ohne Schlüssel im kostenlosen IP-Lookup-Tool ausprobieren.

Was tun mit einem gefälschten Googlebot?

Behandeln Sie eine fehlgeschlagene Prüfung als „nicht verifizierter Bot“, nicht als Angriff. Die Anfrage stammt von jemandem, der sich als Google ausgibt, und das verrät Ihnen, dass er wie ein Crawler behandelt werden möchte. Entziehen Sie ihm diese Behandlung und gehen Sie mit ihm um wie mit jedem anderen automatisierten Client.

• Streichen Sie die Crawler-Freiheiten. Kein Umgehen von Rate-Limits, Paywalls oder Bot-Challenges für einen Googlebot-Namen, der nicht verifiziert wurde.
• Begrenzen Sie die Rate pro Netzwerk, nicht pro Adresse. Scraper rotieren IPs innerhalb eines Anbieters. Bei IPv6-Quellen verwenden Sie das Präfix als Schlüssel, wie in unserem Leitfaden zum Rate-Limiting von IPv6 nach /64-Präfix.
• Blockieren Sie niemals versehentlich eine verifizierte Google-Adresse. Führen Sie die Verifizierung vor jeder Blocklist-Regel aus, damit eine pauschale Hosting- oder ASN-Sperre den echten Googlebot nicht erwischen kann.
• Verifizieren Sie die echte Client-IP. Verwenden Sie die verbindende Adresse oder einen Forwarding-Header nur dann, wenn Ihr eigener Proxy oder Ihr CDN ihn setzt. Ein Client kann beliebige Werte in X-Forwarded-For schreiben, auch eine echte Googlebot-Adresse.
• Lassen Sie bei DNS-Fehlern durch (Fail-open). Wenn die Reverse-Abfrage in ein Timeout läuft, ist das kein Beweis für eine Fälschung. Greifen Sie auf die Bereichsdatei zurück oder lassen Sie die Anfrage durch und prüfen Sie später.
• Bewahren Sie die Belege auf. Loggen Sie den behaupteten User-Agent, die IP und das Verifizierungsergebnis, damit Sie messen können, wie viel „Googlebot“-Traffic echt ist.

Dasselbe Muster gilt beim Checkout und bei der Registrierung, wo sich automatisierte Agents zunehmend als bekannte Bots ausgeben. Unser Leitfaden zum Blockieren von Betrug durch KI-Shopping-Agents beim Checkout zeigt, wie ein Flag für verifizierte oder nicht verifizierte Crawler in eine Zahlungsentscheidung einfließt. Welche anderen Bot-Klassen eine IP-Abfrage erkennen kann und welche nicht, lesen Sie in unserer Übersicht dazu, was IP-Daten über einen Bot verraten.

Wo die IP-Verifizierung an Grenzen stößt

Der Abgleich mit Bereichen sagt Ihnen, dass eine Adresse zu den Crawlern von Google gehört. Er hat Grenzen, die Sie kennen sollten, bevor Sie sich darauf verlassen.

• Wir decken alle Dateien von Google ab, jede unter eigenem Namen. GeoIPHub verifiziert Crawler anhand von 19 offiziellen Bereichs-Feeds, darunter alle fünf Google-Dateien aus der Tabelle oben: allgemeine Crawler, Crawler für Sonderfälle und die drei Dateien für von Nutzern ausgelöste Abrufe. Am 8. Oktober 2026 lieferte 107.178.192.1 aus user-triggered-fetchers.json verified: true mit name: "GoogleUserTriggeredFetcher", nicht Googlebot. Prüfen Sie threat.crawler.name, nicht nur verified.
• Es kann eine kurze Verzögerung geben. Google nennt keinen Aktualisierungsrhythmus für seine Dateien. Wir rufen sie täglich neu ab und bauen unsere Lookup-Datenbank täglich neu auf, daher kann es bis zu etwa zwei Tage dauern, bis ein brandneues Google-Präfix über uns verifiziert wird. Die DNS-Prüfung hat keine Verzögerung.
• Unser Datensatz enthält für diese Adressen kein Reverse DNS. Deshalb erscheint no_ptr_datacenter beim echten Googlebot oben, obwohl dig den Wert crawl-66-249-66-1.googlebot.com zurückgibt. Das Urteil stammt aus der Bereichsliste, dem zuverlässigen Weg, aber die Methodenbezeichnung ist irreführend. Wir haben das als Bug erfasst.
• Signierte Anfragen kommen, aber noch nicht für Googlebot. Google testet mit einigen KI-Agents auf seiner Infrastruktur Web Bot Auth, womit ein Agent seine Anfragen kryptografisch signieren kann. Es wird nicht jede Anfrage signiert, und Google empfiehlt, auf die oben beschriebenen etablierten Prüfungen zurückzugreifen. Unser Leitfaden zur Verifizierung von KI-Crawlern erklärt, wie Sie eine Signatur verifizieren.
• Eine echte Google-Adresse ist nicht immer Googlebot. Über Googles Netzwerk AS15169 laufen auch Dienste wie Google Public DNS (8.8.8.8), die unsere Abfrage als reines Hosting bewertet, nicht als Crawler. Es zählen nur die Crawler-Bereichsdateien, setzen Sie AS15169 also niemals als Ganzes auf die Allowlist.

Beginnen Sie mit einer Zahl aus Ihren eigenen Logs: Wie viele Anfragen gaben sich letzte Woche als Googlebot aus, und wie viele dieser IPs bestehen die forward-bestätigte DNS-Prüfung? Die Differenz zwischen beiden ist Ihr Traffic durch gefälschte Googlebots, und sie ist meist größer, als man erwartet.

Häufig gestellte Fragen

Wie lautet die IP-Adresse von Googlebot?

Googlebot hat keine einzelne IP-Adresse. Er crawlt von vielen Präfixen aus, die Google in common-crawlers.json veröffentlicht, ohne einen festen Aktualisierungsrhythmus anzugeben; die Version, die wir am 5. Oktober 2026 abgerufen haben, enthielt 317 Präfixe, davon 170 IPv4. 66.249.66.1, das Beispiel aus Googles eigener Dokumentation, ist eines davon. Prüfen Sie eine Adresse immer gegen die aktuelle Datei statt gegen eine fest einprogrammierte Liste.

Wie prüfe ich, ob eine Anfrage wirklich von Googlebot stammt?

Prüfen Sie die IP, nicht den User-Agent. Führen Sie eine Reverse-DNS-Abfrage für die IP aus und stellen Sie sicher, dass der Hostname auf googlebot.com, google.com oder googleusercontent.com endet. Führen Sie dann eine Forward-Abfrage für diesen Hostnamen aus und stellen Sie sicher, dass sie dieselbe IP zurückgibt. Bei großem Volumen gleichen Sie die IP stattdessen mit Googles veröffentlichten Bereichsdateien ab, für Googlebot zuerst mit common-crawlers.json.

Wo veröffentlicht Google die IP-Bereiche von Googlebot?

In JSON-Dateien, die auf Googles Seite „Verify requests from Google crawlers and fetchers“ verlinkt sind. Googlebot und die anderen allgemeinen Crawler stehen in common-crawlers.json. Die alte Adresse googlebot.json antwortet inzwischen mit einer 301-Weiterleitung auf diese Datei. Crawler für Sonderfälle wie AdsBot und von Nutzern ausgelöste Fetcher haben eigene Dateien.

Ist jede Google-IP eine Googlebot-IP?

Nein. Über Googles Netzwerk (AS15169) laufen auch andere Google-Dienste, etwa Google Public DNS unter 8.8.8.8. Nur Adressen innerhalb der Crawler-Bereichsdateien gehören zu Google-Crawlern, eine ASN-Allowlist ist daher zu weit gefasst. In unserer Abfrage wurde 66.249.66.1 als Googlebot verifiziert, ein DigitalOcean-Server, der denselben Namen beanspruchte, dagegen nicht.

Sollte ich Anfragen blockieren, die sich als Googlebot ausgeben, aber die Verifizierung nicht bestehen?

Behandeln Sie sie als gewöhnlichen, nicht verifizierten Client, nicht als Googlebot. Begrenzen Sie ihre Rate oder stellen Sie ihnen eine Challenge wie jedem anderen Bot. Gewähren Sie ihnen nicht die Crawling-Freiheiten, die Sie dem echten Googlebot einräumen, und stellen Sie sicher, dass Ihre eigenen Regeln niemals eine verifizierte Google-Adresse blockieren können.