طريقة استخدام أداة مولّد Robots.txt
- اضبط الافتراضياسمح لكل الزواحف (المواقع العادية) أو احظر كل شيء (مواقع الاختبار والتجهيز).
- حدّد ما تحظرهأضف المجلدات أو الصفحات التي تريد إبعادها عن محركات البحث، مع استثناءات اختيارية.
- أضف خرائط الموقع وقواعد الروبوتاتأدخل رابط خريطة موقعك، وفعّل زواحف الذكاء الاصطناعي أو روبوتات SEO التي تريد حظرها.
- اختبر ونزّلافحص الروابط بالمختبر، ثم نزّل robots.txt وارفعه إلى المجلد الجذر لموقعك.
المزايا
- حظر زواحف الذكاء الاصطناعيقواعد بنقرة واحدة لـ GPTBot وClaudeBot وGoogle-Extended وCCBot وPerplexityBot وغيرها.
- مختبر الروابطاعرف فورًا هل يمكن لـ Googlebot أو زاحف آخر جلب رابط، وأي قاعدة تحدد ذلك.
- دعم أحرف البدلاستخدم * لأي أحرف و$ لـ “ينتهي بـ”، كما يدعمهما Google وBing.
- نتيجة قابلة للتعديلعدّل الملف المُنشأ يدويًا؛ ويفحص المختبر تعديلاتك مباشرة.
ما هو ملف robots.txt؟
robots.txt ملف نصي صغير في جذر موقعك، مثل https://www.example.com/robots.txt، يخبر برامج الزحف بالأجزاء التي يمكنها زيارتها. تقرأ محركات البحث مثل Google وBing هذا الملف قبل الزحف. ويفيد في إبعاد الزواحف عن لوحات الإدارة ونتائج البحث الداخلي وسلال التسوق وتوليفات الفلاتر اللانهائية التي تهدر ميزانية الزحف.
صيغة robots.txt
| السطر | المعنى |
|---|---|
| User-agent: * | القواعد التالية تنطبق على كل الزواحف |
| User-agent: GPTBot | القواعد التالية تنطبق فقط على زاحف OpenAI |
| Disallow: /admin/ | لا تزحف إلى أي شيء يبدأ بـ /admin/ |
| Allow: /admin/help/ | استثناء: يمكن الزحف إلى هذا المجلد |
| Disallow: /*?sort= | احظر أي رابط يحتوي على ?sort= |
| Disallow: /*.pdf$ | احظر الروابط التي تنتهي بـ .pdf |
| Sitemap: https://…/sitemap.xml | مكان خريطة موقع XML |
يُقبل * لأي تسلسل من الأحرف و$ بمعنى «ينتهي بـ»، كما تفعل Google وBing. ويتبع التطابق المعيار الرسمي (RFC 9309): تفوز القاعدة الأطول، وعند التعادل تفوز Allow. ويمكنك تعديل الملف المولّد يدويًا.
المسارات العربية في robots.txt
إذا كانت روابط موقعك عربية، مثل /منتجات/، فتذكر أن الزواحف تقارن المسار بصيغته المرمّزة كما يرسله المتصفح: /%D9%85%D9%86%D8%AA%D8%AC%D8%A7%D8%AA/. تدعم Google كتابة المسار بالعربية مباشرة في robots.txt وترمّزه بنفسها، لكن بعض الزواحف الأخرى لا تفعل. الأضمن أن تكتب القاعدة بالصيغتين، أو أن تعتمد مسارات لاتينية للأجزاء التي تحظرها مثل لوحة الإدارة والبحث. واختبر النتيجة دائمًا في «اختبار رابط».
مختبر الروابط
قبل رفع الملف، اكتب عنوانًا في «اختبار رابط» واختر الزاحف (Googlebot أو Bingbot أو GPTBot…). سترى فورًا هل يُسمح له بالوصول وأي قاعدة تقرر ذلك. ويفحص المختبر محتوى المربع، فيتحقق مباشرة من تعديلاتك اليدوية أيضًا.
مهم: robots.txt ليس أداة أمان
- لا يخفي الصفحات: الملف عام، وذكر مجلد سري فيه يعلن عنه في الواقع. احمِ المناطق الخاصة بكلمة مرور.
- لا يحذف الصفحات من Google: الرابط المحظور قد يظهر إذا كانت مواقع أخرى تشير إليه. لإزالة صفحة من النتائج، اسمح بالزحف وأضف وسم noindex (انظر مولّد الوسوم التعريفية).
- البرامج الخبيثة تتجاهله: الزواحف الجادة تحترم robots.txt؛ أما أدوات الكشط والبرمجيات الخبيثة فغالبًا لا.
حظر زواحف الذكاء الاصطناعي
تزحف شركات ذكاء اصطناعي كثيرة على الويب لتدريب النماذج اللغوية. يمكنك استبعاد موقعك من كثير منها في robots.txt: GPTBot (OpenAI)، وClaudeBot (Anthropic)، وGoogle-Extended (نماذج Google للذكاء الاصطناعي؛ لا يتأثر البحث العادي)، وCCBot (Common Crawl، المستخدم في مشاريع ذكاء اصطناعي كثيرة)، وApplebot-Extended، وPerplexityBot، وBytespider، وmeta-externalagent. ومع «حظر زواحف الذكاء الاصطناعي» تُضاف القاعدة بنقرة، دون التأثير في ترتيبك في Google أو Bing. وتظهر زواحف جديدة باستمرار، فراجع الملف من حين لآخر.
كيف تثبّت robots.txt
- نزّل الملف. يجب أن يكون اسمه robots.txt بالضبط وبأحرف صغيرة.
- ارفعه إلى المجلد الجذري للموقع ليفتح على yourdomain.com/robots.txt. الملف داخل مجلد فرعي يُتجاهل.
- كل نطاق فرعي (مثل shop.example.com) يحتاج إلى ملفه الخاص.
- تحقق منه في تقرير robots.txt في Google Search Console.
ليس لديك خريطة موقع بعد؟ أنشئها عبر مولّد خريطة موقع XML.