Robots.txt जेनरेटर टूल का इस्तेमाल कैसे करें
- डिफ़ॉल्ट सेट करेंसभी क्रॉलर को अनुमति दें (आम वेबसाइट) या सब कुछ ब्लॉक करें (स्टेजिंग और टेस्ट साइट)।
- क्या ब्लॉक करना है लिखेंवे फ़ोल्डर या पेज जोड़ें जिन्हें सर्च इंजन से बाहर रखना है, चाहें तो छूट के साथ।
- साइटमैप और बॉट नियम जोड़ेंअपना साइटमैप URL डालें, और जिन AI क्रॉलर या SEO बॉट को ब्लॉक करना है उन पर टिक करें।
- टेस्ट करें और डाउनलोड करेंटेस्टर से URL जांचें, फिर robots.txt डाउनलोड करके अपनी साइट के रूट फ़ोल्डर में अपलोड करें।
फ़ीचर
- AI क्रॉलर ब्लॉकिंगGPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot और भी के लिए एक क्लिक में नियम।
- URL टेस्टरतुरंत देखें कि Googlebot या कोई दूसरा क्रॉलर किसी URL को ले सकता है या नहीं, और कौन-सा नियम यह तय करता है।
- वाइल्डकार्ड सपोर्टकिसी भी अक्षर के लिए * और “इससे खत्म” के लिए $ इस्तेमाल करें, जैसा Google और Bing सपोर्ट करते हैं।
- एडिट होने वाला आउटपुटबनी फ़ाइल को हाथ से बारीकी से बदलें; टेस्टर आपके बदलाव लाइव जांचता है।
robots.txt क्या है?
robots.txt आपकी वेबसाइट की रूट (मुख्य फ़ोल्डर) में रखी छोटी टेक्स्ट फ़ाइल है, जैसे https://www.example.com/robots.txt, जो क्रॉलर को बताती है कि वे साइट के कौन से हिस्से देख सकते हैं। Google और Bing जैसे सर्च इंजन क्रॉल करने से पहले इसे जांचते हैं। यह एडमिन हिस्से, साइट के अंदर की सर्च के नतीजे, शॉपिंग कार्ट और अनगिनत फ़िल्टर वाले URL से क्रॉलर को दूर रखने में काम आती है, जो क्रॉल बजट बर्बाद करते हैं।
robots.txt सिंटैक्स
| लाइन | मतलब |
|---|---|
| User-agent: * | नीचे के नियम सभी क्रॉलर पर लागू |
| User-agent: GPTBot | नीचे के नियम सिर्फ़ OpenAI के क्रॉलर पर |
| Disallow: /admin/ | /admin/ से शुरू होने वाला कुछ भी क्रॉल न करें |
| Allow: /admin/help/ | अपवाद: यह फ़ोल्डर क्रॉल हो सकता है |
| Disallow: /*?sort= | ?sort= वाला हर URL रोकें |
| Disallow: /*.pdf$ | .pdf पर खत्म होने वाले URL रोकें |
| Sitemap: https://…/sitemap.xml | आपका XML साइटमैप कहां है |
* किसी भी अक्षर के लिए और $ «इस पर खत्म» के लिए चलता है, जैसा Google और Bing समझते हैं। मिलान आधिकारिक robots.txt मानक (RFC 9309) के हिसाब से होता है: सबसे लंबा मेल जीतता है, और बराबरी पर Allow जीतता है। बनी फ़ाइल हाथ से भी एडिट कर सकते हैं।
URL टेस्टर
अपलोड करने से पहले «URL टेस्ट करें» में कोई पता लिखें और क्रॉलर (Googlebot, Bingbot, GPTBot…) चुनें। तुरंत दिखता है कि वह URL पढ़ सकता है या नहीं, और कौन सा नियम यह तय करता है। टेस्टर बॉक्स में जो भी लिखा है उसे जांचता है, इसलिए आपके हाथ से किए बदलाव भी लाइव जांचे जाते हैं।
ज़रूरी: robots.txt सुरक्षा का औज़ार नहीं है
- यह पेज छिपाती नहीं: फ़ाइल सबके लिए खुली है, और किसी गुप्त फ़ोल्डर का नाम लिखना उसका ढिंढोरा पीटना है। निजी हिस्सों को पासवर्ड से बचाएं।
- यह पेज Google से नहीं हटाती: दूसरी साइटें लिंक करें तो रोका गया URL भी नतीजों में आ सकता है। पेज सर्च से बाहर रखना हो तो क्रॉल होने दें और noindex मेटा टैग लगाएं (हमारा मेटा टैग जेनरेटर देखें)।
- बुरे बॉट इसे नहीं मानते: भरोसेमंद क्रॉलर robots.txt मानते हैं; स्क्रेपर और मैलवेयर आमतौर पर नहीं।
AI क्रॉलर रोकना
कई AI कंपनियां भाषा मॉडल सिखाने के लिए वेब क्रॉल करती हैं। robots.txt में इनमें से कई से बाहर रह सकते हैं: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google के AI मॉडल; सामान्य Google Search पर असर नहीं), CCBot (Common Crawl, जिसे कई AI प्रोजेक्ट इस्तेमाल करते हैं), Applebot-Extended, PerplexityBot, Bytespider और meta-externalagent। एक क्लिक में इन्हें रोकने का नियम जुड़ जाता है, और इससे Google या Bing में आपकी रैंकिंग पर असर नहीं पड़ता। नए क्रॉलर आते रहते हैं, इसलिए फ़ाइल समय-समय पर देखते रहें।
robots.txt कैसे लगाएं
- फ़ाइल डाउनलोड करें। उसका नाम ठीक robots.txt, छोटे अक्षरों में, होना चाहिए।
- उसे वेबसाइट के रूट फ़ोल्डर में अपलोड करें, ताकि वह yourdomain.com/robots.txt पर खुले। किसी सबफ़ोल्डर में रखी robots.txt नहीं मानी जाती।
- हर सबडोमेन (जैसे shop.example.com) की अपनी फ़ाइल चाहिए।
- Google Search Console की robots.txt रिपोर्ट में उसे जांचें।
अभी साइटमैप नहीं है? XML साइटमैप जेनरेटर से बनाएं।