Como verificar o Googlebot pelo IP e identificar Googlebots falsos

O User-Agent é a parte que um impostor controla. Em um teste de 14 dias em um único site novo, publicado pelo Search Engine Journal, apenas 107 de 799 requisições que se diziam Googlebot vieram de um endereço verificado do Google. É um único site pequeno, então leia isso como um alerta, não como uma taxa. Abaixo estão a checagem manual, a automatizada e uma consulta real de um Googlebot verdadeiro e de um falso, lado a lado.

Por que um User-Agent de Googlebot não prova nada

Uma string de User-Agent é uma alegação que o cliente faz sobre si mesmo, e qualquer cliente pode enviar qualquer string. Scrapers copiam a do Googlebot porque muitos sites a tratam com gentileza: sem limites de taxa, sem paredes de login, sem desafios para bots. Isso faz do nome um disfarce que vale a pena usar.

O custo de acreditar nele vale para os dois lados. Deixe passar um Googlebot falso e um scraper leva o seu conteúdo na velocidade de um rastreador (o nosso guia para detectar bots de scraping nos seus logs de acesso mostra como isso aparece). Bloqueie um verdadeiro por engano e as suas páginas saem do índice do Google. A solução é a mesma para os dois casos: verifique o endereço. O nosso guia mais amplo sobre como verificar rastreadores de IA pelo IP cobre GPTBot, ClaudeBot e agentes assinados, e a nossa comparação dos principais bots da OpenAI, GPTBot, OAI-SearchBot e ChatGPT-User mostra quais deles bloquear; este post trata apenas dos rastreadores do Google.

Como verificar o Googlebot manualmente: DNS reverso, depois DNS direto

O Google documenta uma checagem de DNS em duas etapas, e as duas importam. Aqui está ela em um endereço real do Googlebot, executada em 05/10/2026:

O hostname termina em googlebot.com e resolve de volta para o IP original, então a requisição veio do Google. Pular a etapa 2 é o erro mais comum. Quem controla um IP também controla o registro de DNS reverso dele, então um scraper pode nomear o próprio servidor como crawl-fake.googlebot.com. O que ele não consegue é fazer o DNS do Google apontar esse nome de volta para o servidor dele. É a consulta direta que torna a checagem impossível de forjar.

Isso funciona bem para um endereço que você está investigando. Fica lento para um log movimentado, porque cada IP novo exige duas consultas de DNS, e falhas de DNS viram falsos "falsos".

Intervalos de IP do Googlebot: três tipos de rastreador, três arquivos de intervalos

Os rastreadores do Google se dividem em três grupos, e cada um tem os próprios hostnames e a própria lista de IPs publicada. Comparar um IP com o arquivo certo é a versão automatizada da checagem de DNS, e é assim que a maior parte da verificação em escala é feita.

Dois detalhes derrubam scripts mais antigos. Primeiro, os arquivos mudaram de lugar: a URL antiga googlebot.json agora responde com um redirecionamento 301 para /static/crawling/ipranges/common-crawlers.json, então um código que não segue redirecionamentos recebe nada, em silêncio. Segundo, a página de verificação do Google não declara um cronograma de atualização. Os arquivos que baixamos em 29/10/2026 eram datados do dia anterior; a cópia que baixamos em 05/10/2026 foi gerada em 02/10/2026 e lista 317 prefixos, 170 deles IPv4. Faça cache do arquivo, mas atualize-o pelo menos uma vez por dia.

Fonte da tabela: a página Verify requests from Google crawlers and fetchers do Google.

Um Googlebot real e um falso, lado a lado

A forma mais rápida de ver a diferença é consultar os dois endereços. Fizemos duas consultas em 05/10/2026 (os resultados mudam conforme os intervalos se movem). A primeira é 66.249.66.1, o endereço do Googlebot que aparece na própria documentação do Google. A segunda é 104.248.50.21, um servidor da DigitalOcean: imagine que o seu log mostra esse IP enviando um User-Agent de Googlebot.

O primeiro endereço está dentro da lista de intervalos do Google, então threat.crawler.verified é true e verification_method diz como: ip_range_list. O sinal verified_crawler leva o fraud_score dele a 0. O segundo é um servidor de nuvem comum. Ele não é rastreador de nenhum tipo, então uma requisição vinda dele com um User-Agent de Googlebot é falsa por definição.

Repare no que a pontuação não faz. O falso tem pontuação 15, allow, porque um servidor de nuvem, por si só, não é malicioso. O veredito "Googlebot falso" vem da combinação de dois fatos: o seu log diz Googlebot, a consulta diz que não é o Google. A API vê o IP, não os seus cabeçalhos, então essa comparação cabe a você:

Você pode testar os dois endereços na ferramenta gratuita de consulta de IP, sem chave.

O que fazer com um Googlebot falso

Trate uma checagem que falhou como "bot não verificado", não como um ataque. A requisição vem de alguém que se passa pelo Google, o que diz que essa pessoa quer o tratamento dado a rastreadores. Tire esse tratamento e lide com ela como com qualquer outro cliente automatizado.

• Retire as concessões de rastreador. Nada de contornar limites de taxa, paywalls ou desafios para bots com um nome de Googlebot que não foi verificado.
• Limite a taxa por rede, não por endereço. Scrapers fazem rotação de IPs dentro de um mesmo provedor. Para origens IPv6, use o prefixo como chave, como no nosso guia sobre limite de taxa de IPv6 por prefixo /64.
• Nunca bloqueie por acidente um endereço verificado do Google. Execute a verificação antes de qualquer regra de blocklist, para que um bloqueio amplo por hospedagem ou ASN não pegue o Googlebot real.
• Verifique o IP real do cliente. Use o endereço de conexão, ou um cabeçalho de encaminhamento apenas quando o seu próprio proxy ou CDN o define. Um cliente pode escrever qualquer coisa em X-Forwarded-For, inclusive um endereço real do Googlebot.
• Em caso de erro de DNS, deixe passar. Se a consulta reversa expirar, isso não prova que é falso. Recorra ao arquivo de intervalos, ou deixe a requisição passar e verifique depois.
• Guarde as evidências. Registre o User-Agent alegado, o IP e o resultado da verificação, para poder medir quanto do tráfego de "Googlebot" é real.

O mesmo padrão vale no checkout e no cadastro, onde agentes automatizados alegam cada vez mais ser bots conhecidos. O nosso guia sobre como bloquear fraudes de agentes de compra com IA no checkout mostra como um sinal de rastreador verificado ou não verificado entra em uma decisão de pagamento. Para as outras classes de bot que uma consulta de IP consegue ou não identificar, veja a nossa visão geral sobre o que os dados de IP revelam sobre um bot.

Onde a verificação por IP não basta

A comparação com intervalos diz que um endereço pertence aos rastreadores do Google. Ela tem limites que vale conhecer antes de confiar nela.

• Cobrimos todos os arquivos do Google, cada um com o próprio nome. A GeoIPHub verifica rastreadores a partir de 19 feeds oficiais de intervalos, incluindo os cinco arquivos do Google da tabela acima: rastreadores comuns, rastreadores de casos especiais e os três arquivos de acionamento por usuário. Em 08/10/2026, 107.178.192.1, do user-triggered-fetchers.json, retornou verified: true com name: "GoogleUserTriggeredFetcher", não Googlebot. Verifique threat.crawler.name, não apenas verified.
• Pode haver um pequeno atraso. O Google não declara um cronograma de atualização para os arquivos. Nós os baixamos de novo todos os dias e reconstruímos o nosso banco de dados de consulta diariamente, então um prefixo novo do Google pode levar até cerca de dois dias para ser verificado por nós. A checagem de DNS não tem atraso.
• O nosso registro não guarda DNS reverso para esses endereços. É por isso que no_ptr_datacenter aparece no Googlebot real acima, mesmo que o dig retorne crawl-66-249-66-1.googlebot.com. O veredito vem da lista de intervalos, que é o caminho confiável, mas o rótulo do método é enganoso. Registramos isso como um bug.
• Requisições assinadas estão chegando, mas ainda não para o Googlebot. O Google está testando o Web Bot Auth, que permite a um agente assinar criptograficamente as próprias requisições, com alguns agentes de IA na sua infraestrutura. Ele não assina todas as requisições, e o Google orienta recorrer às checagens estabelecidas acima. O nosso guia de verificação de rastreadores de IA mostra como verificar uma assinatura.
• Um endereço real do Google nem sempre é o Googlebot. A rede do Google, AS15169, também transporta serviços como o Google Public DNS (8.8.8.8), que a nossa consulta pontua como hospedagem comum, não como rastreador. Só os arquivos de intervalos de rastreadores contam, então nunca coloque o AS15169 inteiro em uma allowlist.

Comece com um número dos seus próprios logs: quantas requisições na semana passada disseram ser do Googlebot e quantos desses IPs passam na checagem de DNS com confirmação direta. A diferença entre os dois é o seu tráfego de Googlebot falso, e ela costuma ser maior do que as pessoas esperam.

Perguntas frequentes

Qual é o endereço IP do Googlebot?

O Googlebot não tem um único endereço IP. Ele rastreia a partir de muitos prefixos que o Google publica no common-crawlers.json, sem um cronograma de atualização declarado; a cópia que baixamos em 05/10/2026 listava 317 prefixos, 170 deles IPv4. O 66.249.66.1, exemplo usado na própria documentação do Google, é um deles. Sempre verifique um endereço contra o arquivo atual em vez de uma lista fixa no código.

Como verifico se uma requisição vem mesmo do Googlebot?

Verifique o IP, não o User-Agent. Faça uma consulta de DNS reverso no IP e confirme que o hostname termina em googlebot.com, google.com ou googleusercontent.com; depois, faça uma consulta direta nesse hostname e confirme que ela retorna o mesmo IP. Em escala, compare o IP com os arquivos de intervalos publicados pelo Google, começando pelo common-crawlers.json para o Googlebot.

Onde o Google publica os intervalos de IP do Googlebot?

Em arquivos JSON vinculados na página 'Verify requests from Google crawlers and fetchers' do Google. O Googlebot e os outros rastreadores comuns estão no common-crawlers.json. O endereço antigo googlebot.json agora retorna um redirecionamento 301 para esse arquivo. Rastreadores de casos especiais, como o AdsBot, e os fetchers acionados por usuários têm arquivos próprios.

Todo IP do Google é um IP do Googlebot?

Não. A rede do Google (AS15169) também transporta outros serviços do Google, como o Google Public DNS em 8.8.8.8. Só os endereços dentro dos arquivos de intervalos de rastreadores são rastreadores do Google, então uma allowlist por ASN é ampla demais. Na nossa consulta, o 66.249.66.1 foi verificado como Googlebot, enquanto um servidor da DigitalOcean que alegava o mesmo nome não foi.

Devo bloquear requisições que dizem ser do Googlebot mas falham na verificação?

Trate-as como um cliente comum não verificado, não como o Googlebot. Aplique limite de taxa ou desafie-as como qualquer outro bot. Não dê a elas as concessões de rastreamento que você dá ao Googlebot real e verifique se as suas próprias regras nunca podem bloquear um endereço verificado do Google.