Testeur Robots.txt
Testeur de Robots.txt Collez votre fichier robots.txt et testez si des URL spécifiques sont autorisées ou bloquées pour un crawler donné. Valide la syntaxe par rapport à la RFC 9309, met en évidence les erreurs et extrait les références de sitemap. Comment l'utiliser Collez le contenu de votre robots.txt dans le champ de saisie, entrez un chemin d'URL à tester et sélectionnez un User-agent. L'outil indique instantanément si ...
Essayez l'outil »