مولد robots.txt

أنشئ ملفات robots.txt مع قواعد user-agent ومسارات السماح/المنع وروابط sitemap.

الإعدادات المسبقة
ابدأ بسياسة شائعة. يؤدي تطبيق إعداد مسبق إلى استبدال مجموعات User-agent الحالية.
إعدادات الموقع
أضف روابط sitemap وتعليمات Host/Crawl-delay الاختيارية للزواحف التي تدعمها.
إعدادات متقدمة
Host (غير قياسي)
مجموعات User-agent
حدّد الزواحف التي تستهدفها كل مجموعة والمسارات التي يمكنها الزحف إليها.
المجموعة 1

عند تركه فارغًا يكون الافتراضي *.

عدم وجود قواعد يعني السماح للجميع.

الإخراج
راجع ملف robots.txt الناتج، ثم انسخه أو نزّله.

ما هو مُولّد robots.txt؟

يساعد مُولّد robots.txt على إنشاء ملف نصي بسيط يوضح للزواحف الأجزاء التي يمكنها زحفها من موقعك. ويجمع مجموعات User-agent وقواعد السماح والمنع وروابط Sitemap والتوجيهات الاختيارية في ملف robots.txt جاهز للنشر في جذر الموقع.

ما الذي يمكنك ضبطه؟

يمكنك إنشاء مجموعات قواعد منفصلة لزواحف مختلفة، وتطبيق إعدادات مسبقة شائعة، وإضافة رابط Sitemap واحد أو أكثر، وضبط Host أو Crawl-delay عندما تدعمها الزواحف المستهدفة. يفيد هذا عندما تريد قواعد عامة لجميع البوتات وقواعد أكثر صرامة لمسارات مثل /admin/ أو المناطق الأقل أهمية.

كيف يجب نشر الملف؟

راجع المخرجات، واحفظ الملف باسم robots.txt، ثم ارفعه إلى أعلى مستوى في نطاقك مثل https://example.com/robots.txt. بعد النشر، اختبر الملف بأدوات مشرفي البحث أو أدوات الزحف وتأكد من أن المسارات وروابط Sitemap تطابق بنية موقعك الفعلية.

ما القيود؟

robots.txt هو توجيه للزحف وليس نظاماً للتحكم في الوصول. قد تلتزم به الزواحف المنضبطة، لكنه لا يحمي المحتوى الخاص ولا يمنع الطلبات المباشرة. لذلك يجب حماية الصفحات الحساسة بالمصادقة أو بتفويض على مستوى الخادم.