Robots.txt Generator & Validator

Robots.txt Generator & Validator

Erstellen Sie spec-konforme robots.txt-Dateien mit einem visuellen Editor oder validieren Sie vorhandene gegen RFC 9309. Enthält Voreinstellungen für gängige Konfigurationen, Syntaxhervorhebung und einen URL-Tester, um zu überprüfen, ob bestimmte Pfade blockiert oder zugelassen sind.

Nutzung

Wechseln Sie zwischen den Registerkarten Generator und Validator. Im Generator-Modus wählen Sie eine Voreinstellung oder erstellen Sie benutzerdefinierte Regeln, indem Sie User-Agent-Gruppen mit Zulassungs-/Ablehnungspfaden, Crawl-Delay-Einstellungen und Sitemap-URLs hinzufügen. Im Validator-Modus fügen Sie Ihren robots.txt-Inhalt ein, um auf Syntaxfehler zu prüfen, und testen dann spezifische URLs anhand der Regeln.

Funktionen

• Visueller Regelersteller – Mehrere User-Agent-Gruppen mit Zulassungs-/Ablehnungspfaden, Wildcards und URL-Enden-Ankern hinzufügen
• Intelligente Voreinstellungen – Alle zulassen, Alle blockieren, KI-Bots blockieren, WordPress-Standardeinstellungen, E-Commerce-Vorlage
• RFC 9309-Validierung – Syntaxprüfung mit zeilenweiser Hervorhebung von Fehlern und Warnungen
• URL-Tester – Prüfen Sie, ob eine bestimmte URL für einen beliebigen User-Agent blockiert oder zugelassen ist
• Crawl-Delay-Unterstützung – Crawl-Delay pro User-Agent-Gruppe festlegen
• Mehrere Sitemaps – Fügen Sie Ihrer robots.txt mehrere Sitemap-URLs hinzu
• Kopieren & Herunterladen – In die Zwischenablage kopieren oder als robots.txt-Datei herunterladen