Robots.txt Tester

Robots.txt Tester

Fügen Sie Ihre robots.txt-Datei ein und testen Sie, ob bestimmte URLs für jeden Crawler erlaubt oder blockiert sind. Validiert die Syntax anhand von RFC 9309, hebt Fehler hervor und extrahiert Sitemap-Referenzen.

Nutzung

Fügen Sie Ihren robots.txt-Inhalt in das Eingabefeld ein, geben Sie einen URL-Pfad zur Prüfung ein und wählen Sie einen User-Agent aus. Das Tool zeigt sofort an, ob die URL erlaubt oder blockiert ist, welche Regel zutraf und ob Syntaxfehler in Ihrer robots.txt-Datei vorliegen.

Funktionen

• RFC 9309 konforme Analyse – Spezifikationskonformer robots.txt-Parser mit korrekter Direktiven-Priorität
• URL-Mustererkennung – Vollständige Wildcard-Unterstützung mit * und $ Mustern
• User-Agent-Auswahl – Testen gegen Googlebot, Bingbot, GPTBot, ClaudeBot und mehr
• Syntaxtprüfung – Hebt fehlerhafte Direktiven, unbekannte Felder und häufige Fehler hervor
• Angewendete Regelanzeige – Zeigt genau, welche Allow/Disallow-Regel zutraf und warum
• Sitemap-Extraktion – Listet alle im Datei gefundenen Sitemap-Direktiven auf
• Crawl-Delay-Erkennung – Identifiziert Crawl-Delay-Einstellungen pro User-Agent
• Beispiel Robots.txt – Vorab geladene Beispiele für schnelles Testen