Robots.txt जनरेटर
हर क्रॉलर के लिए allow और disallow नियमों, वैकल्पिक crawl delay, और साइटमैप रेफ़रेंस के साथ robots.txt फ़ाइल बनाएं.
नियम
robots.txt
हर क्रॉलर पर नियम लागू करने के लिए यूज़र-एजेंट के तौर पर * इस्तेमाल करें, या
Googlebot जैसे किसी खास बॉट का नाम दें. Disallow किसी पाथ को क्रॉल होने से रोकता है, Allow
साफ़ तौर पर किसी को अनुमति देता है (disallow किए गए फ़ोल्डर के भीतर कोई अपवाद बनाने के लिए उपयोगी).
सामान्य प्रश्न
क्या robots.txt वाकई Google से पेज ब्लॉक करता है?
यह क्रॉलिंग रोकता है, ज़रूरी नहीं कि इंडेक्सिंग भी रुके. अगर कोई और साइट उस URL को लिंक करती है, तो disallow किया गया URL फिर भी सर्च रिज़ल्ट में (बिना डिस्क्रिप्शन के) दिख सकता है. किसी पेज को सर्च रिज़ल्ट से पूरी तरह बाहर रखने के लिए noindex मेटा टैग का इस्तेमाल करें, जिसके लिए पेज का क्रॉल होना ज़रूरी है.
robots.txt कहां रखनी चाहिए?
आपके डोमेन के रूट में, ठीक https://example.com/robots.txt पर, कहीं और नहीं. क्रॉलर इसे किसी सब-फ़ोल्डर में नहीं ढूंढ़ते.
खाली Disallow का क्या मतलब है?
Disallow: के आगे कुछ न लिखे होने का मतलब है "कुछ भी disallow नहीं", यानी उस user-agent के लिए सब कुछ allow है. यही डिफ़ॉल्ट है जिससे यह टूल Allow: / के साथ शुरू होता है.