Robots.txt 生成器和验证器

Robots.txt 生成器和验证器

使用可视化编辑器构建符合规范的 robots.txt 文件，或根据 RFC 9309 验证现有文件。包括常见配置的预设、语法高亮显示以及用于检查特定路径是否被阻止或允许的 URL 测试器。

如何使用

在“生成器”和“验证器”选项卡之间切换。在“生成器”模式下，通过添加具有允许/拒绝路径、crawl-delay 设置和站点地图 URL 的 user-agent 组来选择预设或构建自定义规则。在“验证器”模式下，粘贴您的 robots.txt 内容以检查语法错误，然后根据规则测试特定 URL。

特征

• 可视化规则构建器 – 添加多个 user-agent 组，包含允许/拒绝路径、通配符和 URL 结尾锚点
• 智能预设 – 允许所有、阻止所有、阻止 AI 机器人、WordPress 默认设置、电子商务模板
• RFC 9309 验证 – 语法检查，逐行高亮显示错误和警告
• URL 测试器 – 检查任何 user-agent 是否允许或阻止特定 URL
• Crawl-Delay 支持 – 为每个 user-agent 组设置 crawl delay
• 多站点地图 – 将多个站点地图 URL 添加到您的 robots.txt
• 复制和下载 – 复制到剪贴板或下载为 robots.txt 文件