← 所有工具
🤖
GEO 工具
AI Bot 抓取检测
检测主流 AI 爬虫对你网站的访问权限,优化 GEO 收录策略
输入网站 URL
输入你想检测的网站域名或完整 URL
检测将读取目标网站的 robots.txt 文件及响应头,不会向网站发送其他请求。
检测的 AI 爬虫
GPTBot — OpenAI (ChatGPT)
ClaudeBot — Anthropic (Claude)
Google-Extended — Google Bard/Gemini
PerplexityBot — Perplexity AI
CCBot — Common Crawl
Bytespider — ByteDance
anthropic-ai — Anthropic AI
YouBot — You.com
01
什么是 GEO?
GEO(Generative Engine Optimization,生成式引擎优化)是指优化内容,使其更容易被 AI 搜索引擎理解、抓取和引用。
02
为什么要检测?
如果你的 robots.txt 屏蔽了 AI 爬虫,你的内容就不会出现在 AI 生成的答案中,错失 GEO 流量机会。
03
如何优化?
根据检测结果,有针对性地调整 robots.txt,允许希望引用你内容的 AI 爬虫访问,屏蔽不需要的爬虫。