Robots.txt Tester

Robots.txt Tester

الصق ملف robots.txt الخاص بك واختبر ما إذا كانت عناوين URL محددة مسموح بها أو محظورة لأي زاحف. يتحقق من صحة بناء الجملة مقابل RFC 9309، ويسلط الضوء على الأخطاء، ويستخرج إشارات خريطة الموقع.

كيفية استخدام

الصق محتوى robots.txt الخاص بك في حقل الإدخال، وأدخل مسار URL للاختبار، وحدد User-agent. تعرض الأداة على الفور ما إذا كان عنوان URL مسموحًا به أو محظورًا، والقاعدة التي تم مطابقتها، وأي مشكلات في بناء الجملة في ملف robots.txt الخاص بك.

خصائص

• تحليل متوافق مع RFC 9309 – محلل robots.txt متوافق مع المواصفات مع أسبقية توجيهات صحيحة
• مطابقة نمط URL – دعم كامل للأحرف البديلة مع أنماط * و $
• اختيار User-Agent – اختبار ضد Googlebot و Bingbot و GPTBot و ClaudeBot والمزيد
• التحقق من Syntax – يسلط الضوء على التوجيهات غير الصحيحة والحقول غير المعروفة والأخطاء الشائعة
• عرض قاعدة المطابقة – يعرض بالضبط قاعدة السماح/الرفض التي تمت مطابقتها ولماذا
• استخراج خريطة الموقع – يسرد جميع توجيهات Sitemap الموجودة في الملف
• اكتشاف Crawl-Delay – يحدد إعدادات crawl-delay لكل User-agent
• مثال على ملف robots.txt – أمثلة محملة مسبقًا للاختبار السريع