크롤러 IP 검증
한 번에 크롤러 IP를 검증하세요. Googlebot, Bingbot, GPTBot, ClaudeBot이라고 주장하는 요청이 실제로 해당 운영사에서 왔는지 확인합니다. 운영사 10곳의 공식 크롤러 IP 범위 파일 19개와 IP를 대조합니다.
User-Agent는 브라우저에서 비교되며 저희에게 전송되지 않습니다. IP만 조회됩니다.
User-Agent는 주장일 뿐입니다. 증거는 IP입니다.
요청 헤더에는 누구나 "Googlebot"을 넣을 수 있습니다. Google의 크롤러 주소에서 보낼 수 있는 것은 Google뿐이므로, 정직한 확인 방법은 IP가 운영사가 공개한 범위 안에 있는지 보는 것입니다.
- IP는 운영사가 직접 공개한 범위 파일과 대조하며, 파일은 매일 다시 가져옵니다
- User-Agent는 브라우저에서 비교되므로 페이지를 벗어나지 않습니다
- 둘 사이의 불일치는 가짜 크롤러를 가장 분명하게 보여 주는 신호입니다

IP로 검증하는 크롤러.
운영사 10곳이 공개한 기계 판독 가능한 IP 범위 파일 19개를 불러옵니다. 그 밖의 경우에는 추측하지 않고 솔직하게 "IP로 검증할 수 없음"이라고 답합니다.
검색 엔진
Google(Googlebot, 특수 크롤러, 사용자 요청 기반 페처를 포함한 파일 5개), Bingbot, Applebot, DuckDuckBot.
AI 크롤러와 어시스턴트
OpenAI의 GPTBot, ChatGPT-User, OAI-SearchBot, Anthropic의 ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot과 Perplexity-User, Mistral의 봇 2개, DuckAssistBot.
SEO 및 아카이브 봇
AhrefsBot과 Common Crawl의 CCBot. Meta는 범위 파일을 공개하지 않으므로 Meta 크롤러는 Meta 네트워크와 대조할 수만 있고 검증할 수는 없습니다.
자주 묻는 질문
- 검색 엔진과 AI 기업은 크롤러가 사용하는 IP 범위를 나열한 JSON 파일을 공개합니다. 이 파일 19개를 매일 가져와 입력한 IP가 그중 하나에 속하는지 확인합니다. 일치하면 봇 이름, 운영사, verification_method "ip_range_list"가 반환됩니다.
- 요청의 IP와 User-Agent를 붙여 넣으세요. 가짜 Googlebot은 Google이 공개한 크롤러 범위 밖의 주소에서 Googlebot의 User-Agent를 보내므로 도구에 불일치가 표시됩니다. User-Agent가 없으면 IP가 알려진 크롤러의 것인지만 알 수 있습니다.
- IP에 대해 역방향 DNS 조회를 실행하세요. 실제 Google 크롤러의 호스트 이름은 googlebot.com, google.com 또는 googleusercontent.com으로 끝납니다. 그다음 해당 호스트 이름을 정방향 조회해 같은 IP가 반환되는지 확인하세요. 이 도구는 Google이 공개한 범위 파일로 동등한 확인을 수행합니다.
- 아니요. 비교는 브라우저에서 실행됩니다. 다른 무료 도구와 마찬가지로 IP만 조회됩니다.
- Yandex, Baidu, Amazon 같은 일부 운영사는 저희가 불러올 수 있는 범위 파일을 공개하지 않습니다. 이 경우 도구는 IP로 봇을 검증할 수 없다고 알려 줍니다. IP를 역방향 DNS로 조회한 뒤 호스트 이름을 정방향으로 조회하고, 운영사가 문서로 밝힌 도메인과 일치하는지 확인하세요.
- 범위 파일은 매일 다시 가져오고 조회 데이터베이스는 매일 밤 다시 만들기 때문에, 운영사가 오늘 추가한 프리픽스가 검증됨으로 표시되기까지 최대 약 2일이 걸릴 수 있습니다. 신뢰하는 크롤러가 검증에 실패하면 차단하기 전에 역방향 DNS로 확인하세요.
- 크롤러는 주소가 악용 목록에도 오르는 클라우드 네트워크에서 실행되는 경우가 많습니다. 검증하면 사기 점수는 낮아지지만 다른 신호는 숨겨지지 않으므로, 전체 기록을 보고 직접 판단할 수 있습니다.
- 네. 모든 API 조회는 verified, name, operator가 포함된 threat.crawler를 반환합니다. operator를 요청의 User-Agent가 주장하는 봇과 비교하고, 불일치는 검증되지 않은 것으로 취급하세요. API는 User-Agent를 볼 수 없으므로 이 비교는 사용자의 코드에서 이루어집니다.
모든 검사를, API 호출 한 번으로.
대규모로 필요하십니까?
모든 필드가 포함된 하루 1,500건 무료 API 조회, 신용카드 불필요. 이 도구들은 프로덕션에 배포할 것과 같은 엔드포인트에서 동작합니다.