Тестер Robots.txt
Тестер Robots.txt Вставьте свой файл robots.txt и проверьте, разрешены или заблокированы ли определенные URL-адреса для любого сканера. Проверяет синтаксис по RFC 9309, выделяет ошибки и извлекает ссылки на карты сайтов. Как использовать Вставьте содержимое вашего файла robots.txt в поле ввода, введите путь к URL для тестирования и выберите User-agent. Инструмент мгновенно показывает, ...
Попробуйте инструмент »