Robots.txt 测试工具

Robots.txt 测试工具

粘贴您的 robots.txt 文件，然后测试任何爬虫是允许还是阻止特定 URL。根据 RFC 9309 验证语法，突出显示错误，并提取站点地图引用。

如何使用

将您的 robots.txt 内容粘贴到输入字段中，输入要测试的 URL 路径，然后选择一个 User-agent。该工具会立即显示 URL 是否允许或被阻止，哪个规则匹配，以及您的 robots.txt 文件中的任何语法问题。

特征

• 符合 RFC 9309 的解析 – 符合规范的 robots.txt 解析器，具有正确的指令优先级
• URL 模式匹配 – 完全支持通配符 * 和 ? 模式
• User-Agent 选择 – 测试 Googlebot、Bingbot、GPTBot、ClaudeBot 等
• 语法验证 – 突出显示格式错误的指令、未知字段和常见错误
• 匹配规则显示 – 精确显示匹配的 Allow/Disallow 规则及其原因
• 站点地图提取 – 列出文件中找到的所有 Sitemap 指令
• Crawl-Delay 检测 – 检测每个 User-agent 的 crawl-delay 设置
• Robots.txt 示例 – 预加载的示例，用于快速测试