مولّد Robots.txt

أنشئ ملف robots.txt صالحًا في ثوانٍ. احظر المجلدات الخاصة، وأضف خريطة موقعك، وامنع زواحف الذكاء الاصطناعي من التدرب على محتواك، واختبر أي رابط مقابل القواعد قبل الرفع.

  • حظر زواحف الذكاء الاصطناعي
  • مختبر روابط مدمج
  • متوافق مع RFC 9309
حظر زواحف الذكاء الاصطناعي
حظر روبوتات أخرى
يمكنك تعديل النتيجة مباشرة. يفحص المختبر أدناه كل ما في هذا المربع.
اختبار رابط

طريقة استخدام أداة مولّد Robots.txt

  1. اضبط الافتراضياسمح لكل الزواحف (المواقع العادية) أو احظر كل شيء (مواقع الاختبار والتجهيز).
  2. حدّد ما تحظرهأضف المجلدات أو الصفحات التي تريد إبعادها عن محركات البحث، مع استثناءات اختيارية.
  3. أضف خرائط الموقع وقواعد الروبوتاتأدخل رابط خريطة موقعك، وفعّل زواحف الذكاء الاصطناعي أو روبوتات SEO التي تريد حظرها.
  4. اختبر ونزّلافحص الروابط بالمختبر، ثم نزّل robots.txt وارفعه إلى المجلد الجذر لموقعك.

المزايا

  • حظر زواحف الذكاء الاصطناعيقواعد بنقرة واحدة لـ GPTBot وClaudeBot وGoogle-Extended وCCBot وPerplexityBot وغيرها.
  • مختبر الروابطاعرف فورًا هل يمكن لـ Googlebot أو زاحف آخر جلب رابط، وأي قاعدة تحدد ذلك.
  • دعم أحرف البدلاستخدم * لأي أحرف و$ لـ “ينتهي بـ”، كما يدعمهما Google وBing.
  • نتيجة قابلة للتعديلعدّل الملف المُنشأ يدويًا؛ ويفحص المختبر تعديلاتك مباشرة.

ما هو ملف robots.txt؟

robots.txt ملف نصي صغير في جذر موقعك، مثل https://www.example.com/robots.txt، يخبر برامج الزحف بالأجزاء التي يمكنها زيارتها. تقرأ محركات البحث مثل Google وBing هذا الملف قبل الزحف. ويفيد في إبعاد الزواحف عن لوحات الإدارة ونتائج البحث الداخلي وسلال التسوق وتوليفات الفلاتر اللانهائية التي تهدر ميزانية الزحف.

صيغة robots.txt

السطرالمعنى
User-agent: *القواعد التالية تنطبق على كل الزواحف
User-agent: GPTBotالقواعد التالية تنطبق فقط على زاحف OpenAI
Disallow: /admin/لا تزحف إلى أي شيء يبدأ بـ ‎/admin/‎
Allow: /admin/help/استثناء: يمكن الزحف إلى هذا المجلد
Disallow: /*?sort=احظر أي رابط يحتوي على ‎?sort=‎
Disallow: /*.pdf$احظر الروابط التي تنتهي بـ ‎.pdf
Sitemap: https://…/sitemap.xmlمكان خريطة موقع XML

يُقبل * لأي تسلسل من الأحرف و$ بمعنى «ينتهي بـ»، كما تفعل Google وBing. ويتبع التطابق المعيار الرسمي (RFC 9309): تفوز القاعدة الأطول، وعند التعادل تفوز Allow. ويمكنك تعديل الملف المولّد يدويًا.

المسارات العربية في robots.txt

إذا كانت روابط موقعك عربية، مثل ‎/منتجات/‎، فتذكر أن الزواحف تقارن المسار بصيغته المرمّزة كما يرسله المتصفح: ‎/%D9%85%D9%86%D8%AA%D8%AC%D8%A7%D8%AA/‎. تدعم Google كتابة المسار بالعربية مباشرة في robots.txt وترمّزه بنفسها، لكن بعض الزواحف الأخرى لا تفعل. الأضمن أن تكتب القاعدة بالصيغتين، أو أن تعتمد مسارات لاتينية للأجزاء التي تحظرها مثل لوحة الإدارة والبحث. واختبر النتيجة دائمًا في «اختبار رابط».

مختبر الروابط

قبل رفع الملف، اكتب عنوانًا في «اختبار رابط» واختر الزاحف (Googlebot أو Bingbot أو GPTBot…). سترى فورًا هل يُسمح له بالوصول وأي قاعدة تقرر ذلك. ويفحص المختبر محتوى المربع، فيتحقق مباشرة من تعديلاتك اليدوية أيضًا.

مهم: robots.txt ليس أداة أمان

  • لا يخفي الصفحات: الملف عام، وذكر مجلد سري فيه يعلن عنه في الواقع. احمِ المناطق الخاصة بكلمة مرور.
  • لا يحذف الصفحات من Google: الرابط المحظور قد يظهر إذا كانت مواقع أخرى تشير إليه. لإزالة صفحة من النتائج، اسمح بالزحف وأضف وسم noindex (انظر مولّد الوسوم التعريفية).
  • البرامج الخبيثة تتجاهله: الزواحف الجادة تحترم robots.txt؛ أما أدوات الكشط والبرمجيات الخبيثة فغالبًا لا.

حظر زواحف الذكاء الاصطناعي

تزحف شركات ذكاء اصطناعي كثيرة على الويب لتدريب النماذج اللغوية. يمكنك استبعاد موقعك من كثير منها في robots.txt: GPTBot (OpenAI)، وClaudeBot (Anthropic)، وGoogle-Extended (نماذج Google للذكاء الاصطناعي؛ لا يتأثر البحث العادي)، وCCBot (Common Crawl، المستخدم في مشاريع ذكاء اصطناعي كثيرة)، وApplebot-Extended، وPerplexityBot، وBytespider، وmeta-externalagent. ومع «حظر زواحف الذكاء الاصطناعي» تُضاف القاعدة بنقرة، دون التأثير في ترتيبك في Google أو Bing. وتظهر زواحف جديدة باستمرار، فراجع الملف من حين لآخر.

كيف تثبّت robots.txt

  • نزّل الملف. يجب أن يكون اسمه robots.txt بالضبط وبأحرف صغيرة.
  • ارفعه إلى المجلد الجذري للموقع ليفتح على yourdomain.com/robots.txt. الملف داخل مجلد فرعي يُتجاهل.
  • كل نطاق فرعي (مثل shop.example.com) يحتاج إلى ملفه الخاص.
  • تحقق منه في تقرير robots.txt في Google Search Console.

ليس لديك خريطة موقع بعد؟ أنشئها عبر مولّد خريطة موقع XML.

الأسئلة الشائعة

أين أضع ملف robots.txt؟
في المجلد الجذر لموقعك ليكون متاحًا على https://yourdomain.com/robots.txt. تُتجاهل الملفات في المجلدات الفرعية.
كيف أحظر روبوتات الذكاء الاصطناعي مثل GPTBot؟
فعّل زواحف الذكاء الاصطناعي التي تريد حظرها. يضيف المولّد مجموعة بأسماء user-agent الخاصة بها و“Disallow: /”.
هل يضر حظر زواحف الذكاء الاصطناعي بترتيبي في Google؟
لا. يتحكم Google-Extended فقط في استخدام محتواك لنماذج الذكاء الاصطناعي من Google؛ أما Googlebot الذي يشغّل البحث فمنفصل.
أين أضع ملف robots.txt؟
في المجلد الجذري لموقعك، ليكون على https://yourdomain.com/robots.txt. الملفات في المجلدات الفرعية تُتجاهل.
كيف أحظر زواحف الذكاء الاصطناعي مثل GPTBot؟
حدد الزواحف التي تريد حظرها. يضيف المولّد مجموعة بأسمائها و«Disallow: /».
هل يضر حظر زواحف الذكاء الاصطناعي بترتيبي في Google؟
لا. Google-Extended يتحكم فقط في استخدام محتواك في نماذج Google للذكاء الاصطناعي؛ أما Googlebot الذي يغذي البحث فمستقل.
هل يزيل robots.txt صفحة من Google؟
لا. لإزالة صفحة من النتائج استخدم وسم noindex (واسمح بالزحف). robots.txt يتحكم في الزحف فقط.
ماذا يعني «Disallow:» دون شيء بعده؟
يعني أن لا شيء محظور: يمكن للزواحف زيارة الموقع كله.