منشئ ومدقق ملفات Robots.txt

منشئ ومدقق ملفات Robots.txt

قم بإنشاء ملفات robots.txt متوافقة مع المواصفات باستخدام محرر مرئي، أو تحقق من صحة الملفات الموجودة مقابل RFC 9309. يتضمن إعدادات مسبقة للتكوينات الشائعة، وتمييز الصيغة، واختبار عنوان URL للتحقق مما إذا كانت المسارات المحددة محظورة أو مسموح بها.

كيف تستعمل

قم بالتبديل بين علامتي التبويب "المنشئ" و "المدقق". في وضع المنشئ، اختر إعدادًا مسبقًا أو قم بإنشاء قواعد مخصصة عن طريق إضافة مجموعات وكلاء المستخدم مع مسارات السماح/الرفض، وإعدادات تأخير الزحف، وعناوين URL لخريطة الموقع. في وضع المدقق، الصق محتوى ملف robots.txt الخاص بك للتحقق من أخطاء الصيغة، ثم اختبر عناوين URL محددة مقابل القواعد.

سمات

• منشئ قواعد مرئي – أضف مجموعات متعددة لوكلاء المستخدم مع مسارات السماح/الرفض، وأحرف البدل، ومرتكزات نهاية عنوان URL
• الإعدادات الذكية – السماح بالكل، الحظر بالكل، حظر روبوتات الذكاء الاصطناعي، إعدادات WordPress الافتراضية، قالب التجارة الإلكترونية
• التحقق من صحة RFC 9309 – فحص الصيغة مع تمييز الأخطاء والتحذيرات سطرًا بسطر
• مختبر عناوين URL – تحقق مما إذا كان عنوان URL محددًا محظورًا أو مسموحًا به لأي وكيل مستخدم
• دعم Crawl-Delay – تعيين تأخير الزحف لكل مجموعة وكيل مستخدم
• خرائط مواقع متعددة – أضف عناوين URL متعددة لخريطة الموقع إلى ملف robots.txt الخاص بك
• نسخ وتنزيل – انسخ إلى الحافظة أو قم بتنزيله كملف robots.txt