Генератор и Валидатор robots.txt

Генератор и Валидатор robots.txt

Создавайте файлы robots.txt, соответствующие спецификациям, с помощью визуального редактора или проверяйте существующие на соответствие RFC 9309. Включает пресеты для распространенных конфигураций, подсветку синтаксиса и тестер URL для проверки того, заблокированы или разрешены ли определенные пути.

Как использовать

Переключайтесь между вкладками «Генератор» и «Валидатор». В режиме генератора выберите пресет или создайте пользовательские правила, добавляя группы user-agent с путями для разрешения/запрета, настройками crawl-delay и URL-адресами Sitemap. В режиме валидатора вставьте содержимое вашего robots.txt для проверки синтаксических ошибок, а затем протестируйте конкретные URL-адреса по правилам.

Возможности

• Визуальный конструктор правил – Добавляйте несколько групп user-agent с путями для разрешения/запрета, подстановочными знаками и якорями конца URL
• Умные пресеты – Разрешить все, Блокировать все, Блокировать ИИ-ботов, Стандартные настройки WordPress, Шаблон для электронной коммерции
• Проверка RFC 9309 – Проверка синтаксиса с подсветкой ошибок и предупреждений построчно
• Тестер URL – Проверьте, разрешен или заблокирован ли конкретный URL для любого user-agent
• Поддержка Crawl-Delay – Установите задержку сканирования для каждой группы user-agent
• Несколько Sitemap – Добавляйте несколько URL-адресов Sitemap в ваш robots.txt
• Копировать и Скачать – Скопируйте в буфер обмена или скачайте как файл robots.txt