Тестер Robots.txt
Гид
Тестер Robots.txt
Вставьте ваш файл robots.txt и проверьте, разрешены или заблокированы ли определенные URL-адреса для любого сканера. Проверяет синтаксис на соответствие RFC 9309, выделяет ошибки и извлекает ссылки на карты сайта.
Как использовать
Вставьте содержимое вашего файла robots.txt в поле ввода, введите путь URL для тестирования и выберите User-agent. Инструмент мгновенно покажет, разрешен или заблокирован URL, какое правило сработало, и есть ли синтаксические ошибки в вашем файле robots.txt.
Функции
- Разбор в соответствии с RFC 9309 – Соответствующий спецификации парсер robots.txt с правильным приоритетом директив
- Сопоставление шаблонов URL – Полная поддержка подстановочных знаков с шаблонами * и $
- Выбор User-Agent – Тестирование против Googlebot, Bingbot, GPTBot, ClaudeBot и других
- Проверка синтаксиса – Выделяет неверно сформированные директивы, неизвестные поля и распространенные ошибки
- Отображение правила сопоставления – Показывает, какое правило Allow/Disallow сработало и почему
- Извлечение карты сайта – Перечисляет все директивы Sitemap, найденные в файле
- Обнаружение Crawl-Delay – Определяет настройки crawl-delay для каждого User-agent
- Пример файла robots.txt – Предварительно загруженные примеры для быстрого тестирования
Установите наши расширения
Добавьте инструменты ввода-вывода в свой любимый браузер для мгновенного доступа и более быстрого поиска
恵 Табло результатов прибыло!
Табло результатов — это интересный способ следить за вашими играми, все данные хранятся в вашем браузере. Скоро появятся новые функции!
Подписаться на новости
все Новые поступления
всеОбновлять: Наш последний инструмент был добавлен 1 апр. 2026 г.
Примите участие
Помогите нам продолжать предоставлять ценные бесплатные инструменты
