Comment utiliser l’outil Générateur de robots.txt
- Définissez la règle par défautAutorisez tous les robots (sites classiques) ou bloquez tout (sites de préproduction et de test).
- Listez ce qu’il faut bloquerAjoutez les dossiers ou pages à tenir à l’écart des moteurs, avec des exceptions facultatives.
- Ajoutez sitemaps et règles de botsSaisissez l’URL de votre sitemap et cochez les robots d’IA ou bots SEO à bloquer.
- Testez et téléchargezVérifiez des URL avec le testeur, puis téléchargez robots.txt et placez-le à la racine de votre site.
Fonctionnalités
- Blocage des robots d’IARègles en un clic pour GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot et d’autres.
- Testeur d’URLVoyez aussitôt si Googlebot ou un autre robot peut explorer une URL, et quelle règle en décide.
- Caractères génériquesUtilisez * pour n’importe quels caractères et $ pour « se termine par », comme le permettent Google et Bing.
- Résultat modifiableAjustez le fichier généré à la main ; le testeur vérifie vos modifications en direct.
Qu'est-ce que le fichier robots.txt ?
Le robots.txt est un petit fichier texte placé à la racine de votre site, par exemple https://www.example.com/robots.txt, qui indique aux robots d'exploration quelles parties du site ils peuvent visiter. Les moteurs de recherche comme Google et Bing le consultent avant d'explorer. Il sert à tenir les robots à l'écart des zones d'administration, des résultats de recherche interne, des paniers et des combinaisons infinies de filtres qui gaspillent le budget d'exploration.
Syntaxe du robots.txt
| Ligne | Signification |
|---|---|
| User-agent: * | Les règles suivantes s'appliquent à tous les robots |
| User-agent: GPTBot | Les règles suivantes ne s'appliquent qu'au robot d'OpenAI |
| Disallow: /admin/ | Ne pas explorer ce qui commence par /admin/ |
| Allow: /admin/aide/ | Exception : ce dossier peut être exploré |
| Disallow: /*?tri= | Bloquer toute URL contenant ?tri= |
| Disallow: /*.pdf$ | Bloquer les URL qui se terminent par .pdf |
| Sitemap: https://…/sitemap.xml | L'emplacement de votre sitemap XML |
Le * pour n'importe quelle suite de caractères et le $ pour « se termine par » sont acceptés, comme chez Google et Bing. La correspondance suit la norme officielle (RFC 9309) : la règle la plus longue l'emporte et, en cas d'égalité, Allow gagne. Vous pouvez modifier le fichier généré à la main.
URL avec accents
Si vos adresses contiennent des accents, comme /catégorie/été/, les robots comparent le chemin sous sa forme encodée telle que l'envoie le navigateur : /cat%C3%A9gorie/%C3%A9t%C3%A9/. Google accepte les deux écritures dans le robots.txt et encode lui-même, mais d'autres robots non. Le plus sûr est d'écrire la règle sous la forme encodée, ou d'utiliser des slugs sans accents pour les zones que vous bloquez. Vérifiez toujours avec « Tester une URL ».
Testeur d'URL
Avant de mettre le fichier en ligne, saisissez une adresse dans « Tester une URL » et choisissez le robot (Googlebot, Bingbot, GPTBot…). Vous voyez aussitôt s'il peut y accéder et quelle règle en décide. Le testeur vérifie ce qui se trouve dans la zone de texte : il contrôle donc aussi en direct vos modifications manuelles.
Important : le robots.txt n'est pas un outil de sécurité
- Il ne cache pas les pages : le fichier est public, et y citer un dossier secret revient à l'annoncer. Protégez les zones privées par un mot de passe.
- Il ne retire pas les pages de Google : une URL bloquée peut encore apparaître si d'autres sites pointent vers elle. Pour retirer une page des résultats, autorisez l'exploration et ajoutez une balise meta noindex (voir notre Générateur de balises meta).
- Les robots malveillants l'ignorent : les robots sérieux respectent le robots.txt ; les aspirateurs de contenu et les logiciels malveillants, généralement pas.
Bloquer les robots d'IA
Beaucoup d'entreprises d'IA explorent le web pour entraîner des modèles de langage. Vous pouvez vous exclure de nombre d'entre elles dans le robots.txt : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (modèles d'IA de Google ; la recherche normale n'est pas touchée), CCBot (Common Crawl, utilisé par de nombreux projets d'IA), Applebot-Extended, PerplexityBot, Bytespider et meta-externalagent. Avec « Bloquer les robots d’IA », la règle s'ajoute en un clic, sans effet sur votre classement dans Google ou Bing. Beaucoup d'éditeurs de presse français bloquent ainsi les robots d'IA ; de nouveaux robots apparaissent souvent, alors relisez le fichier de temps en temps.
Installer le robots.txt
- Téléchargez le fichier. Il doit s'appeler exactement robots.txt, en minuscules.
- Envoyez-le à la racine du site, pour qu'il s'ouvre à l'adresse votredomaine.fr/robots.txt. Un robots.txt dans un sous-dossier est ignoré.
- Chaque sous-domaine (comme boutique.example.com) a besoin de son propre fichier.
- Vérifiez-le dans le rapport robots.txt de Google Search Console.
Pas encore de sitemap ? Créez-le avec le Générateur de sitemap XML.