Robots.txt জেনারেটর টুল কীভাবে ব্যবহার করবেন
- ডিফল্ট ঠিক করুনসব ক্রলারকে অনুমতি দিন (সাধারণ ওয়েবসাইট) বা সব ব্লক করুন (স্টেজিং ও টেস্ট সাইট)।
- কী ব্লক করবেন তালিকা করুনসার্চ ইঞ্জিন থেকে দূরে রাখার ফোল্ডার বা পেজ যোগ করুন, ঐচ্ছিক ব্যতিক্রমসহ।
- সাইটম্যাপ ও বটের নিয়ম যোগ করুনসাইটম্যাপ URL দিন, আর যেসব AI ক্রলার বা SEO বট ব্লক করতে চান টিক দিন।
- টেস্ট করে ডাউনলোড করুনটেস্টার দিয়ে URL যাচাই করুন, তারপর robots.txt ডাউনলোড করে সাইটের রুট ফোল্ডারে আপলোড করুন।
বৈশিষ্ট্য
- AI ক্রলার ব্লকGPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot ও আরও কিছুর জন্য এক ক্লিকের নিয়ম।
- URL টেস্টারসঙ্গে সঙ্গে দেখুন Googlebot বা অন্য ক্রলার একটি URL আনতে পারবে কি না, আর কোন নিয়ম তা ঠিক করে।
- ওয়াইল্ডকার্ড সমর্থিতGoogle ও Bing-এর সমর্থন অনুযায়ী যেকোনো অক্ষরের জন্য * আর “শেষে আছে”-র জন্য $ ব্যবহার করুন।
- এডিটযোগ্য আউটপুটতৈরি ফাইল হাতে সূক্ষ্মভাবে ঠিক করুন; টেস্টার আপনার এডিট লাইভ যাচাই করে।
সচরাচর জিজ্ঞাসা
robots.txt কোথায় রাখব?+
ওয়েবসাইটের রুট ফোল্ডারে, যাতে https://yourdomain.com/robots.txt-এ পাওয়া যায়। সাবফোল্ডারের ফাইল উপেক্ষা হয়।
GPTBot-এর মতো AI বট কীভাবে ব্লক করব?+
যেসব AI ক্রলার ব্লক করতে চান টিক দিন। জেনারেটর তাদের user-agent ও “Disallow: /”-সহ একটি গ্রুপ যোগ করে।
AI ক্রলার ব্লক করলে কি আমার Google র্যাঙ্কিং কমবে?+
না। Google-Extended শুধু Google-এর AI মডেলে আপনার কনটেন্ট ব্যবহার নিয়ন্ত্রণ করে; সার্চ চালানো Googlebot আলাদা।