مولّد ملف Robots.txt
أنشئ ملف robots.txt بقواعد سماح ومنع لكل زاحف، وتأخير زحف اختياري، ومرجع لخريطة الموقع.
القواعد
robots.txt
استخدم * كوكيل مستخدم لتطبيق قاعدة على كل زاحف، أو اذكر اسم بوت محدد مثل
Googlebot. يمنع Disallow زحف مسار معيّن، بينما يسمح Allow صراحةً بمسار
(مفيد لاستثناء مسار داخل مجلد ممنوع).
أسئلة شائعة
هل يمنع robots.txt فعليًا الصفحات من جوجل؟
إنه يمنع الزحف، وليس بالضرورة الفهرسة. قد يظهر رابط ممنوع في نتائج البحث (بلا وصف) إذا كانت مواقع أخرى تربط إليه. لإبقاء صفحة خارج نتائج البحث تمامًا، استخدم وسم noindex بدلاً من ذلك، وهو ما يتطلب أن تكون الصفحة قابلة للزحف.
أين يجب أن يوضع ملف robots.txt؟
في جذر نطاقك، بالضبط عند https://example.com/robots.txt، ولا مكان آخر. لن تبحث الزواحف عنه داخل مجلد فرعي.
ماذا يعني Disallow فارغ؟
يعني Disallow: بلا أي شيء بعده "عدم منع أي شيء"، أي يكافئ السماح بكل شيء لذلك الوكيل. هذا هو الإعداد الافتراضي الذي تبدأ به هذه الأداة لـ Allow: /.