Como usar a ferramenta Gerador de robots.txt
- Defina o padrãoPermita todos os rastreadores (sites normais) ou bloqueie tudo (sites de teste e staging).
- Liste o que bloquearAdicione pastas ou páginas que devem ficar fora dos buscadores, com exceções opcionais.
- Adicione sitemaps e regras de botsInforme a URL do sitemap e marque os rastreadores de IA ou bots de SEO que quer bloquear.
- Teste e baixeVerifique URLs com o testador, baixe o robots.txt e envie para a pasta raiz do seu site.
Recursos
- Bloqueio de rastreadores de IARegras com um clique para GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e outros.
- Testador de URLVeja na hora se o Googlebot ou outro rastreador pode acessar uma URL e qual regra decide isso.
- CuringasUse * para quaisquer caracteres e $ para “termina com”, como Google e Bing aceitam.
- Resultado editávelAjuste o arquivo gerado à mão; o testador verifica suas edições ao vivo.
O que é robots.txt?
robots.txt é um pequeno arquivo de texto na raiz do seu site, por exemplo https://www.example.com/robots.txt, que diz aos rastreadores quais partes do site eles podem visitar. Buscadores como Google e Bing consultam esse arquivo antes de rastrear. Ele serve para manter os rastreadores fora de áreas administrativas, resultados de busca interna, carrinhos e combinações infinitas de filtros que desperdiçam orçamento de rastreamento.
Sintaxe do robots.txt
| Linha | Significado |
|---|---|
| User-agent: * | As regras seguintes valem para todos os rastreadores |
| User-agent: GPTBot | As regras seguintes valem só para o rastreador da OpenAI |
| Disallow: /admin/ | Não rastrear nada que comece com /admin/ |
| Allow: /admin/ajuda/ | Exceção: esta pasta pode ser rastreada |
| Disallow: /*?ordem= | Bloquear qualquer URL que contenha ?ordem= |
| Disallow: /*.pdf$ | Bloquear URLs que terminam em .pdf |
| Sitemap: https://…/sitemap.xml | Onde fica o seu sitemap XML |
São aceitos * para qualquer sequência de caracteres e $ para «termina em», como fazem o Google e o Bing. A correspondência segue o padrão oficial (RFC 9309): vence a regra mais longa e, em caso de empate, vence Allow. Você pode editar o arquivo gerado à mão.
Testador de URL
Antes de subir o arquivo, digite um endereço em «Testar uma URL» e escolha o rastreador (Googlebot, Bingbot, GPTBot…). Você vê na hora se ele pode acessar e qual regra decide. O testador confere o que estiver na caixa, então também verifica ao vivo as suas alterações manuais.
Importante: robots.txt não é ferramenta de segurança
- Não esconde páginas: o arquivo é público, e citar uma pasta secreta na verdade anuncia a pasta. Proteja áreas privadas com senha.
- Não remove páginas do Google: uma URL bloqueada ainda pode aparecer se outros sites tiverem links para ela. Para tirar uma página dos resultados, permita o rastreamento e adicione uma meta tag noindex (veja nosso Gerador de meta tags).
- Bots maliciosos ignoram o arquivo: rastreadores sérios respeitam o robots.txt; scrapers e malware geralmente não.
Bloquear rastreadores de IA
Muitas empresas de IA rastreiam a web para treinar modelos de linguagem. Você pode se excluir de vários deles no robots.txt: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (modelos de IA do Google; a Pesquisa normal não é afetada), CCBot (Common Crawl, usado por muitos projetos de IA), Applebot-Extended, PerplexityBot, Bytespider e meta-externalagent. Com «Bloquear rastreadores de IA» a regra entra com um clique, sem afetar seu ranqueamento no Google nem no Bing. Rastreadores novos surgem com frequência, então revise o arquivo de vez em quando.
Como instalar o robots.txt
- Baixe o arquivo. Ele precisa se chamar exatamente robots.txt, em minúsculas.
- Suba o arquivo para a pasta raiz do site, para abrir em seudominio.com.br/robots.txt. Um robots.txt dentro de uma subpasta é ignorado.
- Cada subdomínio (como loja.example.com) precisa do próprio arquivo.
- Confira no relatório de robots.txt do Google Search Console.
Ainda não tem sitemap? Crie com o Gerador de sitemap XML.