AI机器人访问测试工具

粘贴一份 robots.txt，就可以在一个表格中看到它实际屏蔽了哪些 AI 爬虫。该工具会根据你选择的路径，使用真实爬虫所应用的相同 RFC 9309 优先级规则，测试 33 个有记录的 AI 用户代理 — GPTBot、ClaudeBot、Google-Extended、PerplexityBot、CCBot、Bytespider、Applebot-Extended 等。

如何使用

1. 将你的 robots.txt 粘贴到第一个框中。它还不需要是已上线状态 — 在部署前检查文件正是它的意义所在。
2. 设置你关心的路径。/ 回答"我的整个站点都对 AI 开放吗？"；/blog/some-post 回答单个页面的情况，当你的规则使用通配符时这一点很重要。
3. 可选：将列表缩小到一个目的 — 训练、AI 搜索或用户触发。
4. 阅读决定规则列。它会列出产生每个判定结果的确切指令和行号，因此令人意外的结果也能被追溯，而不是毫无头绪。
5. 复制底部生成的内容块，以禁止所有仍被允许的爬虫。

三类 AI 爬虫

它们被分开列出，因为屏蔽它们分属三种不同的决定：

• 模型训练 — 收集页面用于训练或微调模型（GPTBot、ClaudeBot、CCBot、Google-Extended）。屏蔽它们就是从训练语料中退出，而且对搜索毫无影响。
• AI 搜索 — 为页面建立索引，使答案引擎可以引用它们（OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot）。屏蔽它们会让你从 AI 回答中消失 — 这通常与站点所有者的期望相反。
• 用户触发 — 因为有人将你的链接粘贴到聊天机器人中而获取单个页面（ChatGPT-User、Claude-User、Perplexity-User）。屏蔽它们会为真实访客弄坏一个链接。

针对"AI"的全盘 Disallow: / 会命中所有三类。这就是该工具将它们分开的原因。

为什么 Googlebot 不在列表中？

因为屏蔽它会让你从 Google Search 中消失，而不只是从 AI 回答中消失。bingbot 也是如此。Google 的 AI 训练退出选项是单独的 Google-Extended 令牌，它确实在列表中 — 如果你想保留普通搜索但不要模型训练，需要禁止的正是它。

在 robots.txt 中屏蔽某个机器人真的能阻止它吗？

对于守规矩的爬虫来说，是的 — 主要运营者发布这些令牌正是为了让你可以选择退出。对于用户触发的获取，有几家运营者明确表示，由人发起的获取不是爬取，不会查阅 robots.txt。如果你需要强制执行而不只是请求，请在 CDN 或 Web 服务器上按 user-agent 或 IP 范围屏蔽。

为什么要粘贴文件而不是输入域名？

这样它就能完全在你的浏览器中运行。不会上传任何内容，没有速率限制，而且对尚未部署到任何地方的草稿文件同样有效。

相关工具

要用适用的完整规则列表针对一个路径测试某个特定爬虫，请使用 Robots.txt 测试工具。要从头创建 robots.txt 而不是审核现有文件，请使用 Robots.txt 生成器。如果你要更全面地检查网站的爬取配置，XML 站点地图生成器 覆盖了爬虫查找的另一半文件。