Bots de IA en tu web: robots.txt, llms.txt y qué bloquear

No conviene ni bloquear a todos los bots de IA ni dejarlos pasar a todos: la decisión se toma bot a bot, comparando lo que cuesta servir sus peticiones con la visibilidad que devuelven en buscadores y asistentes. La primera línea de control para aplicarla son las directivas de cumplimiento voluntario (robots.txt, meta robots, X-Robots-Tag, nofollow y llms.txt), que solo funcionan con los bots que deciden respetarlas.

Serie sobre bots y agentes de IA. Este artículo forma parte de una serie de tres:

1. Qué bots de IA admitir y con qué directivas: robots.txt, meta robots y llms.txt (este artículo).
2. Cómo frenar a los bots que ignoran esas directivas: CAPTCHA, WAF, honeypots y tarpits.
3. Qué riesgos asume quien despliega un agente propio: prompt injection, consumo y data poisoning.

Cuando los bots razonan

Cada día encontramos entre los accesos a nuestras páginas web un número creciente de agentes autónomos que recorren el contenido de forma automatizada, a menudo con más intensidad que los rastreadores tradicionales. En ocasiones, además, lo hacen sin respetar las directrices de rastreo que publica la propia web.

Las cifras públicas ayudan a dimensionarlo. Según el resumen anual de 2025 de Cloudflare Radar (se abre en una pestaña nueva), los bots de IA generaron de media el 4,2 % de las peticiones HTML que pasaron por su red entre enero y principios de diciembre de 2025, con un máximo del 6,4 % a finales de junio. Googlebot, por sí solo, supuso el 4,5 %. Son datos de una red concreta, no de todo el tráfico de internet, pero dan el orden de magnitud.

En el pasado la navegación de bots era más ocasional. Desde el auge de los LLM y de los agentes, el consumo de recursos que provocan en los servidores web se ha convertido en un coste que hay que gestionar, en un proceso que recuerda al que se produjo cuando el spam empezó a llenar las bandejas de entrada del correo electrónico.

¿Nos conviene detener a los agentes?

¿Cómo protegemos nuestros recursos frente a este nuevo tipo de tráfico? La pregunta plantea un dilema, porque los agentes y otros rastreadores automatizados acceden a una web con objetivos muy distintos. Tradicionalmente predominaba la indexación para motores de búsqueda. Hoy convive con la recopilación de contenido para entrenar modelos de lenguaje y con agentes que consultan la web en tiempo real para responder a las peticiones de sus usuarios.

Un mismo proveedor puede operar los tres tipos. OpenAI documenta (se abre en una pestaña nueva) tres agentes distintos: GPTBot recopila contenido para entrenamiento, OAI-SearchBot alimenta la búsqueda de ChatGPT y ChatGPT-User actúa cuando un usuario pide algo concreto al asistente.

Si permitimos que nos inunden de peticiones, pueden consumir nuestros recursos. Si, por el contrario, bloqueamos este tráfico de forma indiscriminada, corremos el riesgo de perder presencia en determinados índices, buscadores y asistentes basados en IA, y con ella la visibilidad y el tráfico legítimo que todavía pueden proporcionarnos. De esa visibilidad nos ocupamos en cómo preparar tu web para la búsqueda con IA.

La situación supone un cambio respecto al modelo clásico de la web. Durante años, permitir el acceso a los rastreadores tenía una compensación: el buscador indexaba el contenido y enviaba usuarios interesados, en una relación de reciprocidad. Ahora algunos sistemas basados en LLM pueden extraer, resumir y presentar esa información directamente al usuario, sin necesidad de que este visite la página original. El incentivo para permitir este tráfico ya no es siempre evidente.

La cuestión deja de ser impedir el acceso a los bots y pasa a consistir en decidir cuáles aportan un beneficio suficiente para justificar el coste que generan. A diferencia de la época de los buscadores, ese beneficio ya no está garantizado, y la política adecuada dependerá de los intereses de cada organización.

Cómo bloquear bots de IA con robots.txt y otras directivas

La primera línea de control de una web se dirige a los bots respetuosos. Son directrices que funcionan como un convenio de cumplimiento voluntario: el bot las lee y decide si las aplica. El propio estándar de robots.txt, la RFC 9309 (se abre en una pestaña nueva) publicada en septiembre de 2022, advierte de que sus reglas no son una forma de autorización de acceso.

robots.txt: qué zonas no deben rastrearse

El primer mecanismo, y el más habitual, es el fichero /robots.txt del servidor. Indica qué zonas no deberían rastrear determinados bots y cuáles quedan disponibles para ellos. Su configuración tiene este aspecto:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://ejemplo.com/sitemap.xml

Cuando identificamos a un bot concreto (aquí GPTBot), el mecanismo depende de que este respete tanto el fichero como la identificación que declara en su User-Agent. Conviene además saber qué se bloquea exactamente. Según la documentación de OpenAI, esta regla indica que el contenido no debe usarse para entrenar sus modelos, pero no retira la web de la búsqueda de ChatGPT, que depende de OAI-SearchBot, y puede no aplicarse a las acciones que inicia un usuario con ChatGPT-User.

El bloqueo también puede limitarse a una parte del sitio:

User-agent: ClaudeBot
Disallow: /private/

User-agent: *
Allow: /

ClaudeBot es el rastreador con el que Anthropic recopila contenido para entrenamiento, y su documentación (se abre en una pestaña nueva) afirma que respeta las directivas estándar de robots.txt.

Dos precauciones antes de editar el fichero. La primera, comprobar que una regla demasiado amplia no cierra el paso a rastreadores que sí queremos admitir, un error que describimos en cómo preparar una tienda online para las compras con agentes. La segunda, no confundir rastreo con indexación: Google recuerda (se abre en una pestaña nueva) que robots.txt sirve sobre todo para gestionar el tráfico de rastreo y que no es un mecanismo para mantener una página fuera de sus resultados.

Meta robots: control página a página

Para afinar la granularidad hasta el nivel de cada página, podemos indicar en las etiquetas meta de la cabecera HTML que no se indexe esa página:

<head>
  …
  <meta name="robots" content="noindex">
  …
</head>

El campo content admite otras directrices. Google documenta (se abre en una pestaña nueva) algunas más, como nosnippet, que evita que se muestre un fragmento de texto o una vista previa de vídeo de la página y, según esa misma documentación, impide también que su contenido se use como entrada directa de AI Overviews y AI Mode. Otras han perdido sentido: noarchive figura entre las reglas sin uso de esa documentación, porque Google retiró de sus resultados el enlace a la copia en caché.

X-Robots-Tag: la misma directriz desde el servidor

Las cabeceras que envía un servidor como Apache o Nginx también pueden configurarse con estas directrices, por ejemplo:

X-Robots-Tag: noindex, nofollow

La ventaja de enviar estas cabeceras respecto a las etiquetas meta es que se aplican también a contenidos que no son páginas HTML, como los documentos PDF o las imágenes.

nofollow: control enlace a enlace

En el nivel más fino de granularidad podemos gestionar enlaces individuales dentro de la web. El atributo rel="nofollow" indica a los buscadores que ese enlace no debe influir en el posicionamiento ni seguirse necesariamente:

<a href="contacto.php" rel="nofollow">Contacto</a>

En todo caso, estas directrices tienen carácter de sugerencia. Con el tiempo, Google ha pasado a interpretar algunas de estas señales como pistas que el responsable del sitio da al algoritmo para que este decida cómo tratar la página, y no como bloqueos estrictos. Es el caso de nofollow: Google anunció el cambio en septiembre de 2019 (se abre en una pestaña nueva) y lo trata como pista para rastreo e indexación desde marzo de 2020.

Qué es llms.txt y para qué sirve

A estas directivas se ha sumado llms.txt, un fichero en la raíz del sitio pensado para que los LLM y los agentes autónomos comprendan rápidamente de qué trata una web y accedan de forma eficiente a sus contenidos clave sin tener que procesar el HTML. No bloquea ni autoriza nada: es un mapa de navegación voluntario.

Tampoco es un estándar. Su autor, Jeremy Howard, lo presenta en llmstxt.org (se abre en una pestaña nueva) como una propuesta, publicada en septiembre de 2024 y revisada en agosto de 2026 con una versión 2 (se abre en una pestaña nueva) que define, entre otros cambios, cómo se aplican los ficheros llms.txt de una subruta. No tiene detrás un organismo de estandarización y todavía no ha alcanzado un consenso equivalente al de robots.txt.

Por dónde empezar

Las directivas voluntarias son el primer paso: se aplican a los bots que deciden respetarlas, pero no obligan a ninguno. El orden importa: primero se decide qué bots aportan beneficio a la organización y después se escriben las reglas, distinguiendo entre entrenamiento, búsqueda y acciones de usuario.

Para los bots que no las respetan hacen falta medidas que el propio servidor haga cumplir, y ese trabajo corresponde ya a la seguridad de la aplicación. Si quieres saber qué rastreadores admite tu web y qué visibilidad obtienes a cambio, lo revisamos con tu equipo en nuestro servicio de SEO y GEO.