Cómo usar la herramienta Generador de robots.txt
- Define la regla por defectoPermite todos los rastreadores (webs normales) o bloquéalo todo (webs de pruebas y staging).
- Indica qué bloquearAñade carpetas o páginas que no quieras en los buscadores, con excepciones opcionales.
- Añade sitemaps y reglas de botsIntroduce la URL de tu sitemap y marca los rastreadores de IA o bots de SEO que quieras bloquear.
- Prueba y descargaComprueba URL con el probador, descarga robots.txt y súbelo a la carpeta raíz de tu web.
Funciones
- Bloqueo de rastreadores de IAReglas con un clic para GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y más.
- Probador de URLComprueba al instante si Googlebot u otro rastreador puede acceder a una URL y qué regla lo decide.
- ComodinesUsa * para cualquier carácter y $ para “termina en”, tal como admiten Google y Bing.
- Resultado editableAjusta el archivo generado a mano; el probador revisa tus cambios en vivo.
¿Qué es robots.txt?
robots.txt es un pequeño archivo de texto en la raíz de tu web, por ejemplo https://www.example.com/robots.txt, que indica a los rastreadores qué partes del sitio pueden visitar. Buscadores como Google y Bing lo consultan antes de rastrear. Sirve para mantener a los rastreadores fuera de zonas de administración, resultados de búsqueda internos, carritos y combinaciones infinitas de filtros que malgastan presupuesto de rastreo.
Sintaxis de robots.txt
| Línea | Significado |
|---|---|
| User-agent: * | Las reglas siguientes se aplican a todos los rastreadores |
| User-agent: GPTBot | Las reglas siguientes solo se aplican al rastreador de OpenAI |
| Disallow: /admin/ | No rastrear nada que empiece por /admin/ |
| Allow: /admin/ayuda/ | Excepción: esta carpeta sí se puede rastrear |
| Disallow: /*?orden= | Bloquear cualquier URL que contenga ?orden= |
| Disallow: /*.pdf$ | Bloquear las URL que terminan en .pdf |
| Sitemap: https://…/sitemap.xml | Dónde está tu sitemap XML |
Se admite * para cualquier secuencia de caracteres y $ para «termina en», como hacen Google y Bing. La coincidencia sigue el estándar oficial (RFC 9309): gana la coincidencia más larga y, en caso de empate, gana Allow. Puedes editar el archivo generado a mano.
Probador de URL
Antes de subirlo, escribe una dirección en «Probar una URL» y elige el rastreador (Googlebot, Bingbot, GPTBot…). Verás al instante si puede acceder y qué regla lo decide. El probador revisa lo que haya en el cuadro, así que también comprueba en directo tus cambios manuales.
Importante: robots.txt no es una herramienta de seguridad
- No oculta páginas: el archivo es público, y nombrar una carpeta secreta en realidad la anuncia. Protege las zonas privadas con contraseña.
- No elimina páginas de Google: una URL bloqueada puede seguir apareciendo si otros sitios la enlazan. Para que una página no salga en los resultados, permite el rastreo y añade una metaetiqueta noindex (mira nuestro Generador de meta etiquetas).
- Los bots maliciosos lo ignoran: los rastreadores serios respetan robots.txt; los scrapers y el malware normalmente no.
Bloquear rastreadores de IA
Muchas empresas de IA rastrean la web para entrenar modelos de lenguaje. Puedes excluirte de varios en robots.txt: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (modelos de IA de Google; la Búsqueda normal no se ve afectada), CCBot (Common Crawl, usado por muchos proyectos de IA), Applebot-Extended, PerplexityBot, Bytespider y meta-externalagent. Con «Bloquear rastreadores de IA» se añade la regla con un clic, y no afecta a tu posicionamiento en Google ni en Bing. Aparecen rastreadores nuevos con frecuencia, así que revisa el archivo de vez en cuando.
Cómo instalar robots.txt
- Descarga el archivo. Debe llamarse exactamente robots.txt, en minúsculas.
- Súbelo a la carpeta raíz de tu web, para que se abra en tudominio.com/robots.txt. Un robots.txt dentro de una subcarpeta se ignora.
- Cada subdominio (como tienda.example.com) necesita su propio archivo.
- Compruébalo en el informe de robots.txt de Google Search Console.
¿Aún no tienes sitemap? Créalo con el Generador de sitemap XML.