Testeur Robots.txt

Testeur Robots.txt

Collez votre fichier robots.txt et testez si des URL spécifiques sont autorisées ou bloquées pour n'importe quel robot. Valide la syntaxe par rapport à la RFC 9309, met en évidence les erreurs et extrait les références de sitemap.

Comment utiliser

Collez votre contenu robots.txt dans le champ de saisie, entrez un chemin d'URL à tester et sélectionnez un User-agent. L'outil indique instantanément si l'URL est autorisée ou bloquée, quelle règle a correspondu et les éventuels problèmes de syntaxe dans votre fichier robots.txt.

Caractéristiques

• Analyse conforme RFC 9309 – Analyseur robots.txt conforme aux spécifications avec la bonne priorité des directives
• Correspondance de modèle d'URL – Prise en charge complète des caractères génériques avec les modèles * et $
• Sélection de User-Agent – Testez par rapport à Googlebot, Bingbot, GPTBot, ClaudeBot, et plus encore
• Validation de la syntaxe – Met en évidence les directives malformées, les champs inconnus et les erreurs courantes
• Affichage de la règle correspondante – Affiche exactement quelle règle Autoriser/Refuser a correspondu et pourquoi
• Extraction de Sitemap – Liste toutes les directives Sitemap trouvées dans le fichier
• Détection de Crawl-Delay – Identifie les paramètres de crawl-delay par User-agent
• Exemple de Robots.txt – Exemples préchargés pour des tests rapides