Robots.txt জেনারেটর

কয়েক সেকেন্ডে বৈধ robots.txt ফাইল বানান। ব্যক্তিগত ফোল্ডার ব্লক করুন, সাইটম্যাপ যোগ করুন, AI ক্রলারকে আপনার কনটেন্টে ট্রেনিং থেকে থামান, আর আপলোডের আগে যেকোনো URL নিয়মের বিপরীতে টেস্ট করুন।

  • AI ক্রলার ব্লক
  • বিল্ট-ইন URL টেস্টার
  • RFC 9309 মেনে চলে
AI ক্রলার ব্লক করুন
অন্য বট ব্লক করুন
ফলাফল সরাসরি এডিট করতে পারেন। নিচের টেস্টার এই বক্সে যা আছে তাই পরীক্ষা করে।
একটি URL পরীক্ষা করুন

Robots.txt জেনারেটর টুল কীভাবে ব্যবহার করবেন

  1. ডিফল্ট ঠিক করুনসব ক্রলারকে অনুমতি দিন (সাধারণ ওয়েবসাইট) বা সব ব্লক করুন (স্টেজিং ও টেস্ট সাইট)।
  2. কী ব্লক করবেন তালিকা করুনসার্চ ইঞ্জিন থেকে দূরে রাখার ফোল্ডার বা পেজ যোগ করুন, ঐচ্ছিক ব্যতিক্রমসহ।
  3. সাইটম্যাপ ও বটের নিয়ম যোগ করুনসাইটম্যাপ URL দিন, আর যেসব AI ক্রলার বা SEO বট ব্লক করতে চান টিক দিন।
  4. টেস্ট করে ডাউনলোড করুনটেস্টার দিয়ে URL যাচাই করুন, তারপর robots.txt ডাউনলোড করে সাইটের রুট ফোল্ডারে আপলোড করুন।

বৈশিষ্ট্য

  • AI ক্রলার ব্লকGPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot ও আরও কিছুর জন্য এক ক্লিকের নিয়ম।
  • URL টেস্টারসঙ্গে সঙ্গে দেখুন Googlebot বা অন্য ক্রলার একটি URL আনতে পারবে কি না, আর কোন নিয়ম তা ঠিক করে।
  • ওয়াইল্ডকার্ড সমর্থিতGoogle ও Bing-এর সমর্থন অনুযায়ী যেকোনো অক্ষরের জন্য * আর “শেষে আছে”-র জন্য $ ব্যবহার করুন।
  • এডিটযোগ্য আউটপুটতৈরি ফাইল হাতে সূক্ষ্মভাবে ঠিক করুন; টেস্টার আপনার এডিট লাইভ যাচাই করে।

সচরাচর জিজ্ঞাসা

robots.txt কোথায় রাখব?
ওয়েবসাইটের রুট ফোল্ডারে, যাতে https://yourdomain.com/robots.txt-এ পাওয়া যায়। সাবফোল্ডারের ফাইল উপেক্ষা হয়।
GPTBot-এর মতো AI বট কীভাবে ব্লক করব?
যেসব AI ক্রলার ব্লক করতে চান টিক দিন। জেনারেটর তাদের user-agent ও “Disallow: /”-সহ একটি গ্রুপ যোগ করে।
AI ক্রলার ব্লক করলে কি আমার Google র‍্যাঙ্কিং কমবে?
না। Google-Extended শুধু Google-এর AI মডেলে আপনার কনটেন্ট ব্যবহার নিয়ন্ত্রণ করে; সার্চ চালানো Googlebot আলাদা।