مولّد ملف Robots.txt
أنشئ ملف robots.txt بقواعد سماح ومنع لكل زاحف، وتأخير زحف اختياري، ومرجع لخريطة الموقع.
القواعد
robots.txt
استخدم * كوكيل مستخدم لتطبيق قاعدة على كل زاحف، أو اذكر اسم بوت محدد مثل
Googlebot. يمنع Disallow زحف مسار معيّن، بينما يسمح Allow صراحةً بمسار
(مفيد لاستثناء مسار داخل مجلد ممنوع).
كيف تعمل
يجمّع المولّد قواعدك حسب وكيل المستخدم، فثلاث قواعد كتبتها لـ Googlebot في ثلاثة صفوف منفصلة تُدمج تحت سطر واحد User-agent: Googlebot، مع فصل كل مجموعة بسطر فارغ كما تتوقع المحللات. تُتجاهل القواعد ذات المسار الفارغ. إذا حذفت كل القواعد، يعود الناتج إلى User-agent: * مع Disallow: فارغ، وهي الطريقة الصحيحة لقول «لا تحظر شيئًا».
أمران بشأن robots.txt يربكان الناس عادةً. أولًا، Crawl-delay موجود في هذه الأداة لأن Bing وYandex يحترمانه، لكن Googlebot يتجاهله تمامًا منذ أن أوقفت جوجل رسميًا التوجيهات غير المدعومة في 2019. ثانيًا، والأهم: Disallow لا يزيل صفحة من نتائج البحث، بل يوقف الزحف فقط. قد تظل عنوان URL محظور مُفهرَسًا بسبب روابط تشير إليه، ويظهر دون وصف. إذا أردت إخراج صفحة من الفهرس تمامًا، افعل العكس: اسمح بزحفها وضع عليها وسم noindex.
يُجمَّع الملف بالكامل في جافاسكريبت هذه الصفحة أثناء كتابتك. مساراتك وأسماء الروبوتات لا تُرسَل أبدًا إلى أي مكان، ويمكنك التأكد من ذلك في تبويب الشبكة بأدوات المطوّر.
أسئلة شائعة
هل يمنع robots.txt فعليًا الصفحات من جوجل؟
إنه يمنع الزحف، وليس بالضرورة الفهرسة. قد يظهر رابط ممنوع في نتائج البحث (بلا وصف) إذا كانت مواقع أخرى تربط إليه. لإبقاء صفحة خارج نتائج البحث تمامًا، استخدم وسم noindex بدلاً من ذلك، وهو ما يتطلب أن تكون الصفحة قابلة للزحف.
أين يجب أن يوضع ملف robots.txt؟
في جذر نطاقك، بالضبط عند https://example.com/robots.txt، ولا مكان آخر. لن تبحث الزواحف عنه داخل مجلد فرعي.
ماذا يعني Disallow فارغ؟
يعني Disallow: بلا أي شيء بعده "عدم منع أي شيء"، أي يكافئ السماح بكل شيء لذلك الوكيل. هذا هو الإعداد الافتراضي الذي تبدأ به هذه الأداة لـ Allow: /.