Probador de Robots.txt
Guía
Probador de Robots.txt
Pega tu archivo robots.txt y prueba si las URL específicas están permitidas o bloqueadas para cualquier rastreador. Valida la sintaxis contra RFC 9309, resalta errores y extrae referencias de sitemap.
Cómo utilizar
Pega el contenido de tu robots.txt en el campo de entrada, introduce una ruta de URL para probar y selecciona un User-agent. La herramienta muestra instantáneamente si la URL está permitida o bloqueada, qué regla coincidió y cualquier problema de sintaxis en tu archivo robots.txt.
Características
- Análisis compatible con RFC 9309 – Analizador de robots.txt compatible con especificaciones con precedencia de directivas adecuada
- Coincidencia de patrones de URL – Soporte completo de comodines con patrones * y $
- Selección de User-Agent – Prueba contra Googlebot, Bingbot, GPTBot, ClaudeBot y más
- Validación de Sintaxis – Resalta directivas mal formadas, campos desconocidos y errores comunes
- Visualización de la regla coincidente – Muestra exactamente qué regla Allow/Disallow coincidió y por qué
- Extracción de Sitemap – Enumera todas las directivas Sitemap encontradas en el archivo
- Detección de Crawl-Delay – Identifica la configuración de crawl-delay por User-agent
- Ejemplo de Robots.txt – Ejemplos precargados para pruebas rápidas
Instalar extensiones
Agregue herramientas IO a su navegador favorito para obtener acceso instantáneo y búsquedas más rápidas
恵 ¡El marcador ha llegado!
Marcador es una forma divertida de llevar un registro de tus juegos, todos los datos se almacenan en tu navegador. ¡Próximamente habrá más funciones!
Herramientas clave
Ver todo Los recién llegados
Ver todoActualizar: Nuestro última herramienta fue agregado el Abr 2, 2026
