Generador de robots.txt

Crea un archivo robots.txt válido en segundos. Bloquea carpetas privadas, añade tu sitemap, impide que los rastreadores de IA se entrenen con tu contenido y prueba cualquier URL con las reglas antes de subirlo.

  • Bloquea rastreadores de IA
  • Probador de URL integrado
  • Sigue el RFC 9309
Bloquear rastreadores de IA
Bloquear otros bots
Puedes editar el resultado directamente. El comprobador de abajo analiza lo que haya en este cuadro.
Probar una URL

Cómo usar la herramienta Generador de robots.txt

  1. Define la regla por defectoPermite todos los rastreadores (webs normales) o bloquéalo todo (webs de pruebas y staging).
  2. Indica qué bloquearAñade carpetas o páginas que no quieras en los buscadores, con excepciones opcionales.
  3. Añade sitemaps y reglas de botsIntroduce la URL de tu sitemap y marca los rastreadores de IA o bots de SEO que quieras bloquear.
  4. Prueba y descargaComprueba URL con el probador, descarga robots.txt y súbelo a la carpeta raíz de tu web.

Funciones

  • Bloqueo de rastreadores de IAReglas con un clic para GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y más.
  • Probador de URLComprueba al instante si Googlebot u otro rastreador puede acceder a una URL y qué regla lo decide.
  • ComodinesUsa * para cualquier carácter y $ para “termina en”, tal como admiten Google y Bing.
  • Resultado editableAjusta el archivo generado a mano; el probador revisa tus cambios en vivo.

¿Qué es robots.txt?

robots.txt es un pequeño archivo de texto en la raíz de tu web, por ejemplo https://www.example.com/robots.txt, que indica a los rastreadores qué partes del sitio pueden visitar. Buscadores como Google y Bing lo consultan antes de rastrear. Sirve para mantener a los rastreadores fuera de zonas de administración, resultados de búsqueda internos, carritos y combinaciones infinitas de filtros que malgastan presupuesto de rastreo.

Sintaxis de robots.txt

LíneaSignificado
User-agent: *Las reglas siguientes se aplican a todos los rastreadores
User-agent: GPTBotLas reglas siguientes solo se aplican al rastreador de OpenAI
Disallow: /admin/No rastrear nada que empiece por /admin/
Allow: /admin/ayuda/Excepción: esta carpeta sí se puede rastrear
Disallow: /*?orden=Bloquear cualquier URL que contenga ?orden=
Disallow: /*.pdf$Bloquear las URL que terminan en .pdf
Sitemap: https://…/sitemap.xmlDónde está tu sitemap XML

Se admite * para cualquier secuencia de caracteres y $ para «termina en», como hacen Google y Bing. La coincidencia sigue el estándar oficial (RFC 9309): gana la coincidencia más larga y, en caso de empate, gana Allow. Puedes editar el archivo generado a mano.

Probador de URL

Antes de subirlo, escribe una dirección en «Probar una URL» y elige el rastreador (Googlebot, Bingbot, GPTBot…). Verás al instante si puede acceder y qué regla lo decide. El probador revisa lo que haya en el cuadro, así que también comprueba en directo tus cambios manuales.

Importante: robots.txt no es una herramienta de seguridad

  • No oculta páginas: el archivo es público, y nombrar una carpeta secreta en realidad la anuncia. Protege las zonas privadas con contraseña.
  • No elimina páginas de Google: una URL bloqueada puede seguir apareciendo si otros sitios la enlazan. Para que una página no salga en los resultados, permite el rastreo y añade una metaetiqueta noindex (mira nuestro Generador de meta etiquetas).
  • Los bots maliciosos lo ignoran: los rastreadores serios respetan robots.txt; los scrapers y el malware normalmente no.

Bloquear rastreadores de IA

Muchas empresas de IA rastrean la web para entrenar modelos de lenguaje. Puedes excluirte de varios en robots.txt: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (modelos de IA de Google; la Búsqueda normal no se ve afectada), CCBot (Common Crawl, usado por muchos proyectos de IA), Applebot-Extended, PerplexityBot, Bytespider y meta-externalagent. Con «Bloquear rastreadores de IA» se añade la regla con un clic, y no afecta a tu posicionamiento en Google ni en Bing. Aparecen rastreadores nuevos con frecuencia, así que revisa el archivo de vez en cuando.

Cómo instalar robots.txt

  • Descarga el archivo. Debe llamarse exactamente robots.txt, en minúsculas.
  • Súbelo a la carpeta raíz de tu web, para que se abra en tudominio.com/robots.txt. Un robots.txt dentro de una subcarpeta se ignora.
  • Cada subdominio (como tienda.example.com) necesita su propio archivo.
  • Compruébalo en el informe de robots.txt de Google Search Console.

¿Aún no tienes sitemap? Créalo con el Generador de sitemap XML.

Preguntas frecuentes

¿Dónde pongo el robots.txt?
En la carpeta raíz de tu web, para que esté disponible en https://tudominio.com/robots.txt. Los archivos en subcarpetas se ignoran.
¿Cómo bloqueo bots de IA como GPTBot?
Marca los rastreadores de IA que quieras bloquear. El generador añade un grupo con sus user-agents y “Disallow: /”.
¿Bloquear rastreadores de IA perjudica mi posicionamiento en Google?
No. Google-Extended solo controla el uso de tu contenido para los modelos de IA de Google; Googlebot, que impulsa la Búsqueda, es independiente.
¿Dónde pongo el robots.txt?
En la carpeta raíz de tu web, para que esté en https://tudominio.com/robots.txt. Los archivos en subcarpetas se ignoran.
¿Cómo bloqueo bots de IA como GPTBot?
Marca los rastreadores de IA que quieras bloquear. El generador añade un grupo con sus user-agents y «Disallow: /».
¿Bloquear rastreadores de IA perjudica mi posicionamiento en Google?
No. Google-Extended solo controla el uso de tu contenido en los modelos de IA de Google; Googlebot, que alimenta la Búsqueda, es independiente.
¿Puede robots.txt quitar una página de Google?
No. Para retirar una página de los resultados, usa una metaetiqueta noindex (y permite el rastreo). robots.txt solo controla el rastreo.
¿Qué significa «Disallow:» sin nada detrás?
Un Disallow vacío significa que no se bloquea nada: los rastreadores pueden visitar todo el sitio.