¿Puede la IA leer tu web? robots.txt y los bots de IA

Cuando alguien pregunta a ChatGPT, Gemini o Perplexity qué producto comprar o a qué empresa llamar, la respuesta se construye con páginas que los sistemas del asistente ya han leído. Si esos sistemas no pueden llegar a tu web, tienen muy poco que decir de ti, por buenas que sean tus páginas.

Lo primero que decide si pueden llegar es un pequeño archivo de texto en la raíz de tu web: robots.txt. Aquí te contamos qué hace, qué bots de IA existen y cómo decidir qué permitir.

Los bots de IA ya son una gran parte del tráfico de bots

En su resumen de 2025, Cloudflare indica que los rastreadores de los buscadores generaron el 40% del tráfico de bots verificados, y los de IA aproximadamente la mitad, el 20%².

No todos los bots de IA hacen lo mismo. En un periodo de doce meses medido por Cloudflare, el 80% del rastreo de IA fue para entrenamiento, el 18% para búsqueda y el 2% para acciones de usuarios¹. El grupo que conviene vigilar es el de las acciones de usuarios: su rastreo se multiplicó por más de 15 en 2025².

Tres tipos de bots de IA

Ayuda clasificar los bots de IA según lo que hacen con tus páginas:

• Bots de entrenamiento: recopilan páginas para entrenar los modelos que hay detrás de los asistentes.
• Bots de búsqueda: indexan páginas para que un asistente pueda encontrarlas y enlazarlas. Por ejemplo, OAI-SearchBot de OpenAI se usa para mostrar y enlazar webs en las funciones de búsqueda de ChatGPT².
• Bots de acciones de usuarios: abren una página en el momento en que alguien hace una pregunta. ChatGPT-User visita páginas cuando la gente hace preguntas a ChatGPT².

Algunas empresas separan estas tareas y otras no: Meta, OpenAI y Anthropic usan bots distintos para fines distintos, mientras que Google y Microsoft usan un único rastreador para varios fines¹. Cuando los bots están separados, puedes decir que no al entrenamiento y que sí a la búsqueda.

Lo que robots.txt puede hacer y lo que no

El Robots Exclusion Protocol en el que se basa robots.txt está definido formalmente en el RFC 9309 y permite a los propietarios de una web indicar a los rastreadores a qué partes pueden acceder². La idea viene de 1994, cuando se propuso para que los propietarios de webs pudieran controlar cómo acceden los rastreadores a su contenido⁸.

Es una petición, no una cerradura. El propio estándar aclara que sus reglas no son una forma de autorización de acceso⁸. Google lo explica igual: un archivo robots.txt no puede obligar a un rastreador a comportarse de una manera, cumplirlo depende del rastreador⁷. Cloudflare lo describe como un sistema basado en la confianza³.

De ahí salen dos ideas prácticas. robots.txt sirve sobre todo para gestionar cuántas peticiones hacen los rastreadores a tu web, y no es la forma de mantener una página fuera de Google⁷. Para páginas privadas, usa una contraseña o una regla noindex.

Google: un rastreador para la Búsqueda y un token aparte para Gemini

En la Búsqueda de Google, la IA está integrada en el funcionamiento del buscador, así que el control son las reglas de robots.txt para Googlebot⁶. Si bloqueas Googlebot, desapareces de la Búsqueda de Google por completo.

Para limitar el entrenamiento de IA y el grounding en algunos otros sistemas de Google, Google remite a un token aparte, Google-Extended⁶. Con él decides si el contenido que Google rastrea en tu web puede usarse para entrenar futuros modelos de Gemini⁵.

La mayoría de las webs aún no ha decidido

Solo alrededor del 37% de los 10.000 dominios principales analizados por Cloudflare tenía un archivo robots.txt³. De 3.816 dominios principales con ese archivo, 546, alrededor del 14%, tenían reglas escritas específicamente para bots de IA⁴.

En 2025, los bots de IA fueron los agentes de usuario que con más frecuencia aparecían totalmente bloqueados en los archivos robots.txt, es decir, sin acceso a ninguna parte de la web². Bloquear es una opción válida. El riesgo es bloquear sin querer: una regla pensada para los bots de entrenamiento, o una regla amplia copiada de una plantilla, también puede dejar fuera a los bots que te llevan a las respuestas de IA.

Una lista rápida

1. Abre tuweb.com/robots.txt y léelo. Comprueba que no bloquea Googlebot ni Bingbot por error.
2. Decide por separado sobre el entrenamiento y sobre la búsqueda. Si no quieres que tu contenido se use para entrenar modelos, bloquea los bots de entrenamiento por su nombre y deja permitidos los de búsqueda y los de acciones de usuarios.
3. No confíes en robots.txt para ocultar nada privado. Usa una contraseña o noindex.
4. Vuelve a revisarlo después de cada cambio en la web. Un tema nuevo, un plugin o un ajuste del firewall pueden cambiar lo que ven los rastreadores sin que nadie se dé cuenta.

El análisis gratuito de OLAB Assist comprueba si tu robots.txt bloquea los bots de búsqueda de IA y los agentes de usuario de los asistentes, y si tu firewall los rechaza aunque robots.txt los permita.