Robots.txt Tester
Robots.txt-Tester Fügen Sie Ihre robots.txt-Datei ein und testen Sie, ob bestimmte URLs für jeden Crawler erlaubt oder blockiert sind. Validiert die Syntax anhand von RFC 9309, hebt Fehler hervor und extrahiert Sitemap-Referenzen. Anwendungshinweise Fügen Sie Ihren robots.txt-Inhalt in das Eingabefeld ein, geben Sie einen URL-Pfad zum Testen ein und wählen Sie einen User-Agent aus. Das Tool zeigt sofort an, ob ...
Testen Sie das Tool »