Générateur de robots.txt

Créez un fichier robots.txt valide en quelques secondes. Bloquez les dossiers privés, ajoutez votre sitemap, empêchez les robots d’IA de s’entraîner sur votre contenu et testez n’importe quelle URL avant la mise en ligne.

  • Bloque les robots d’IA
  • Testeur d’URL intégré
  • Conforme à la RFC 9309
Bloquer les robots d’IA
Bloquer d’autres robots
Vous pouvez modifier le résultat directement. Le testeur ci-dessous vérifie ce qui se trouve dans cette zone.
Tester une URL

Comment utiliser l’outil Générateur de robots.txt

  1. Définissez la règle par défautAutorisez tous les robots (sites classiques) ou bloquez tout (sites de préproduction et de test).
  2. Listez ce qu’il faut bloquerAjoutez les dossiers ou pages à tenir à l’écart des moteurs, avec des exceptions facultatives.
  3. Ajoutez sitemaps et règles de botsSaisissez l’URL de votre sitemap et cochez les robots d’IA ou bots SEO à bloquer.
  4. Testez et téléchargezVérifiez des URL avec le testeur, puis téléchargez robots.txt et placez-le à la racine de votre site.

Fonctionnalités

  • Blocage des robots d’IARègles en un clic pour GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot et d’autres.
  • Testeur d’URLVoyez aussitôt si Googlebot ou un autre robot peut explorer une URL, et quelle règle en décide.
  • Caractères génériquesUtilisez * pour n’importe quels caractères et $ pour « se termine par », comme le permettent Google et Bing.
  • Résultat modifiableAjustez le fichier généré à la main ; le testeur vérifie vos modifications en direct.

Qu'est-ce que le fichier robots.txt ?

Le robots.txt est un petit fichier texte placé à la racine de votre site, par exemple https://www.example.com/robots.txt, qui indique aux robots d'exploration quelles parties du site ils peuvent visiter. Les moteurs de recherche comme Google et Bing le consultent avant d'explorer. Il sert à tenir les robots à l'écart des zones d'administration, des résultats de recherche interne, des paniers et des combinaisons infinies de filtres qui gaspillent le budget d'exploration.

Syntaxe du robots.txt

LigneSignification
User-agent: *Les règles suivantes s'appliquent à tous les robots
User-agent: GPTBotLes règles suivantes ne s'appliquent qu'au robot d'OpenAI
Disallow: /admin/Ne pas explorer ce qui commence par /admin/
Allow: /admin/aide/Exception : ce dossier peut être exploré
Disallow: /*?tri=Bloquer toute URL contenant ?tri=
Disallow: /*.pdf$Bloquer les URL qui se terminent par .pdf
Sitemap: https://…/sitemap.xmlL'emplacement de votre sitemap XML

Le * pour n'importe quelle suite de caractères et le $ pour « se termine par » sont acceptés, comme chez Google et Bing. La correspondance suit la norme officielle (RFC 9309) : la règle la plus longue l'emporte et, en cas d'égalité, Allow gagne. Vous pouvez modifier le fichier généré à la main.

URL avec accents

Si vos adresses contiennent des accents, comme /catégorie/été/, les robots comparent le chemin sous sa forme encodée telle que l'envoie le navigateur : /cat%C3%A9gorie/%C3%A9t%C3%A9/. Google accepte les deux écritures dans le robots.txt et encode lui-même, mais d'autres robots non. Le plus sûr est d'écrire la règle sous la forme encodée, ou d'utiliser des slugs sans accents pour les zones que vous bloquez. Vérifiez toujours avec « Tester une URL ».

Testeur d'URL

Avant de mettre le fichier en ligne, saisissez une adresse dans « Tester une URL » et choisissez le robot (Googlebot, Bingbot, GPTBot…). Vous voyez aussitôt s'il peut y accéder et quelle règle en décide. Le testeur vérifie ce qui se trouve dans la zone de texte : il contrôle donc aussi en direct vos modifications manuelles.

Important : le robots.txt n'est pas un outil de sécurité

  • Il ne cache pas les pages : le fichier est public, et y citer un dossier secret revient à l'annoncer. Protégez les zones privées par un mot de passe.
  • Il ne retire pas les pages de Google : une URL bloquée peut encore apparaître si d'autres sites pointent vers elle. Pour retirer une page des résultats, autorisez l'exploration et ajoutez une balise meta noindex (voir notre Générateur de balises meta).
  • Les robots malveillants l'ignorent : les robots sérieux respectent le robots.txt ; les aspirateurs de contenu et les logiciels malveillants, généralement pas.

Bloquer les robots d'IA

Beaucoup d'entreprises d'IA explorent le web pour entraîner des modèles de langage. Vous pouvez vous exclure de nombre d'entre elles dans le robots.txt : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (modèles d'IA de Google ; la recherche normale n'est pas touchée), CCBot (Common Crawl, utilisé par de nombreux projets d'IA), Applebot-Extended, PerplexityBot, Bytespider et meta-externalagent. Avec « Bloquer les robots d’IA », la règle s'ajoute en un clic, sans effet sur votre classement dans Google ou Bing. Beaucoup d'éditeurs de presse français bloquent ainsi les robots d'IA ; de nouveaux robots apparaissent souvent, alors relisez le fichier de temps en temps.

Installer le robots.txt

  • Téléchargez le fichier. Il doit s'appeler exactement robots.txt, en minuscules.
  • Envoyez-le à la racine du site, pour qu'il s'ouvre à l'adresse votredomaine.fr/robots.txt. Un robots.txt dans un sous-dossier est ignoré.
  • Chaque sous-domaine (comme boutique.example.com) a besoin de son propre fichier.
  • Vérifiez-le dans le rapport robots.txt de Google Search Console.

Pas encore de sitemap ? Créez-le avec le Générateur de sitemap XML.

Questions fréquentes

Où placer le fichier robots.txt ?
À la racine de votre site, pour qu’il soit accessible à https://votredomaine.com/robots.txt. Les fichiers dans des sous-dossiers sont ignorés.
Comment bloquer les bots d’IA comme GPTBot ?
Cochez les robots d’IA à bloquer. Le générateur ajoute un groupe avec leurs user-agents et « Disallow: / ».
Bloquer les robots d’IA nuit-il à mon référencement Google ?
Non. Google-Extended contrôle seulement l’usage de votre contenu par les modèles d’IA de Google ; Googlebot, qui alimente la Recherche, est distinct.
Où placer le robots.txt ?
À la racine de votre site, pour qu'il soit à l'adresse https://votredomaine.fr/robots.txt. Les fichiers dans des sous-dossiers sont ignorés.
Comment bloquer les robots d'IA comme GPTBot ?
Cochez les robots d'IA à bloquer. Le générateur ajoute un groupe avec leurs user-agents et « Disallow: / ».
Bloquer les robots d'IA nuit-il à mon classement Google ?
Non. Google-Extended contrôle seulement l'utilisation de votre contenu par les modèles d'IA de Google ; Googlebot, qui alimente la recherche, est indépendant.
Le robots.txt retire-t-il une page de Google ?
Non. Pour retirer une page des résultats, utilisez une balise meta noindex (et autorisez l'exploration). Le robots.txt ne contrôle que l'exploration.
Que signifie « Disallow: » sans rien après ?
Un Disallow vide signifie que rien n'est bloqué : les robots peuvent visiter tout le site.