Probador de Robots.txt

Probador de Robots.txt

Pega tu archivo robots.txt y prueba si las URL específicas están permitidas o bloqueadas para cualquier rastreador. Valida la sintaxis contra RFC 9309, resalta errores y extrae referencias de sitemap.

Cómo utilizar

Pega el contenido de tu robots.txt en el campo de entrada, introduce una ruta de URL para probar y selecciona un User-agent. La herramienta muestra instantáneamente si la URL está permitida o bloqueada, qué regla coincidió y cualquier problema de sintaxis en tu archivo robots.txt.

Características

• Análisis compatible con RFC 9309 – Analizador de robots.txt compatible con especificaciones con precedencia de directivas adecuada
• Coincidencia de patrones de URL – Soporte completo de comodines con patrones * y $
• Selección de User-Agent – Prueba contra Googlebot, Bingbot, GPTBot, ClaudeBot y más
• Validación de Sintaxis – Resalta directivas mal formadas, campos desconocidos y errores comunes
• Visualización de la regla coincidente – Muestra exactamente qué regla Allow/Disallow coincidió y por qué
• Extracción de Sitemap – Enumera todas las directivas Sitemap encontradas en el archivo
• Detección de Crawl-Delay – Identifica la configuración de crawl-delay por User-agent
• Ejemplo de Robots.txt – Ejemplos precargados para pruebas rápidas