← 所有工具
🤖
GEO 工具

AI Bot 抓取检测

检测主流 AI 爬虫对你网站的访问权限,优化 GEO 收录策略

输入网站 URL

输入你想检测的网站域名或完整 URL

检测将读取目标网站的 robots.txt 文件及响应头,不会向网站发送其他请求。

检测的 AI 爬虫

GPTBot — OpenAI (ChatGPT)
ClaudeBot — Anthropic (Claude)
Google-Extended — Google Bard/Gemini
PerplexityBot — Perplexity AI
CCBot — Common Crawl
Bytespider — ByteDance
anthropic-ai — Anthropic AI
YouBot — You.com
01

什么是 GEO?

GEO(Generative Engine Optimization,生成式引擎优化)是指优化内容,使其更容易被 AI 搜索引擎理解、抓取和引用。

02

为什么要检测?

如果你的 robots.txt 屏蔽了 AI 爬虫,你的内容就不会出现在 AI 生成的答案中,错失 GEO 流量机会。

03

如何优化?

根据检测结果,有针对性地调整 robots.txt,允许希望引用你内容的 AI 爬虫访问,屏蔽不需要的爬虫。