免费工具
验证爬虫 IP
一步验证爬虫 IP:查明自称 Googlebot、Bingbot、GPTBot 或 ClaudeBot 的请求是否真的来自该运营方。我们用 10 家运营方的 19 个官方爬虫 IP 范围文件检查该 IP。
试试示例:
User-Agent 在您的浏览器中比对,绝不会发送给我们。只有 IP 会被查询。
User-Agent 只是一种声明。 IP 才是证明。
任何人都可以在请求头中发送“Googlebot”。只有 Google 能从其爬虫地址发出它,所以可靠的检查方式是看 IP 是否位于运营方发布的范围内。
- 按运营方自己的范围文件查询该 IP,文件每天重新获取
- User-Agent 在您的浏览器中比对,因此不会离开页面
- 两者不一致,是爬虫造假最明显的信号

我们按 IP 验证哪些 爬虫。
我们加载由 10 家运营方发布的 19 个机器可读 IP 范围文件。其余情况一律如实回答“无法按 IP 验证”,而不是猜测。
搜索引擎
Google(五个文件,包括 Googlebot、特殊爬虫和由用户触发的抓取器)、Bingbot、Applebot 和 DuckDuckBot。
AI 爬虫与助手
OpenAI 的 GPTBot、ChatGPT-User 和 OAI-SearchBot,Anthropic 的 ClaudeBot、Claude-User 和 Claude-SearchBot,PerplexityBot 和 Perplexity-User,Mistral 的两个机器人,以及 DuckAssistBot。
SEO 与存档机器人
AhrefsBot 和 Common Crawl 的 CCBot。Meta 没有发布范围文件,因此 Meta 的爬虫只能匹配到 Meta 的网络,无法验证。
常见 问题解答
- 搜索引擎和 AI 公司会发布 JSON 文件,列出其爬虫使用的 IP 范围。我们每天获取其中 19 个文件,并检查您输入的 IP 是否落在其中某个范围内。匹配时会返回机器人名称、其运营方以及 verification_method "ip_range_list"。
- 粘贴请求的 IP 和 User-Agent。伪造的 Googlebot 会从 Google 已发布的爬虫范围之外的地址发送 Googlebot 的 User-Agent,因此工具会显示不一致。没有 User-Agent 时,您只能知道该 IP 是否属于已知爬虫。
- 对该 IP 进行反向 DNS 查询。真实的 Google 爬虫主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾。然后对该主机名进行正向查询,确认返回相同的 IP。我们的工具会用 Google 发布的范围文件完成等效检查。
- 不会。比对在您的浏览器中完成,只有 IP 会被查询,与我们其他免费工具相同。
- 部分运营方(如 Yandex、Baidu 和 Amazon)没有发布我们可加载的范围文件。对这些机器人,工具会说明无法按 IP 验证。请对该 IP 做反向 DNS 查询,再对主机名做正向查询,并确认它与运营方文档中的域名一致。
- 范围文件每天重新获取,我们的查询数据库每晚重建,因此运营方今天新增的前缀最多可能需要约两天才会显示为已验证。如果您信任的爬虫未通过检查,请先用反向 DNS 确认,再决定是否拦截。
- 爬虫通常运行在云网络上,这些地址也可能出现在滥用名单中。验证会降低欺诈评分,但不会隐藏其他信号,您可以看到完整记录并自行决定。
- 可以。每次 API 查询都会返回 threat.crawler,其中包含 verified、name 和 operator。将 operator 与请求的 User-Agent 所自称的机器人进行比较,不一致则视为未验证。API 看不到您的 User-Agent,所以这一比较留在您的代码中。
更多免费工具