Testador de Robots.txt

Testador de Robots.txt

Cole o seu arquivo robots.txt e teste se URLs específicas são permitidas ou bloqueadas para qualquer crawler. Valida a sintaxe contra RFC 9309, destaca erros e extrai referências de sitemap.

Como usar

Cole o conteúdo do seu robots.txt no campo de entrada, insira um caminho de URL para testar e selecione um User-agent. A ferramenta mostra instantaneamente se a URL é permitida ou bloqueada, qual regra correspondeu e quaisquer problemas de sintaxe no seu arquivo robots.txt.

Características

• Análise em Conformidade com RFC 9309 – Analisador de robots.txt em conformidade com a especificação, com a devida precedência de diretivas
• Correspondência de Padrões de URL – Suporte completo a curingas com padrões * e $
• Seleção de User-Agent – Teste contra Googlebot, Bingbot, GPTBot, ClaudeBot e mais
• Validação de Sintaxe – Destaca diretivas malformadas, campos desconhecidos e erros comuns
• Exibição da Regra de Correspondência – Mostra exatamente qual regra Allow/Disallow correspondeu e por quê
• Extração de Sitemap – Lista todas as diretivas Sitemap encontradas no arquivo
• Detecção de Crawl-Delay – Identifica configurações de crawl-delay por User-agent
• Exemplo de Robots.txt – Exemplos pré-carregados para testes rápidos