Generador y Validador de Robots.txt

Generador y Validador de Robots.txt

Crea archivos robots.txt que cumplan las especificaciones con un editor visual, o valida los existentes contra RFC 9309. Incluye ajustes preestablecidos para configuraciones comunes, resaltado de sintaxis y un probador de URL para verificar si las rutas específicas están bloqueadas o permitidas.

Cómo utilizar

Cambia entre las pestañas Generador y Validador. En el modo Generador, elige un ajuste preestablecido o crea reglas personalizadas agregando grupos de user-agent con rutas de permitir/denegar, configuraciones de crawl-delay y URLs de sitemap. En el modo Validador, pega tu contenido robots.txt para verificar errores de sintaxis y luego prueba URLs específicas contra las reglas.

Características

• Constructor Visual de Reglas – Agrega múltiples grupos de user-agent con rutas de permitir/denegar, comodines y anclajes de fin de URL
• Ajustes Inteligentes – Permitir Todo, Bloquear Todo, Bloquear Bots de IA, Valores Predeterminados de WordPress, Plantilla de Comercio Electrónico
• Validación RFC 9309 – Verificación de sintaxis con resaltado de errores y advertencias línea por línea
• Probador de URL – Verifica si una URL específica está bloqueada o permitida para cualquier user-agent
• Soporte de Crawl-Delay – Establece el crawl-delay por grupo de user-agent
• Múltiples Sitemaps – Agrega múltiples URLs de sitemap a tu robots.txt
• Copiar y Descargar – Copia al portapapeles o descarga como archivo robots.txt