Comercio agéntico
¿Debería una tienda de comercio electrónico bloquear los rastreadores de IA en robots.txt?
Actualizado
Bloquea los rastreadores de entrenamiento de modelos si quieres; no cuesta nada en los rankings de búsqueda ni en la visibilidad de las respuestas de IA. No bloquees los rastreadores de motores de respuesta como OAI-SearchBot, PerplexityBot y Claude-SearchBot, ni las solicitudes de agentes en vivo como ChatGPT-User; esos son los que te ponen en las respuestas de IA y traen tráfico de referencia. La distinción importa porque alrededor de una cuarta parte de los sitios de comercio electrónico y SaaS B2B bloquean los principales rastreadores de LLM sin intención, a menudo en la CDN en lugar de en robots.txt.
La mayoría de los consejos sobre esto están escritos para editores
El argumento para bloquear los rastreadores de IA fue hecho por y para editores, y en sus propios términos es un argumento sólido: si tu producto es el texto, un modelo entrenado con ese texto compite contigo, y estás entregando el inventario gratis.
Un comerciante está en la posición opuesta. Tu producto es un producto. El texto de tu sitio existe para venderlo. Bloquear los rastreadores que mostrarían ese producto a un comprador que describió exactamente lo que quería no es proteger un activo, es rechazar un canal para proteger una página de ventas.
Por eso, aplicar los consejos de los editores a una tienda produce sistemáticamente la respuesta incorrecta, y por qué la pregunta que vale la pena hacer no es "bloquear o permitir" sino "cuál de los tres, y para qué".
Tres rastreadores, tres tratos diferentes
"Rastreador de IA" nombra tres cosas distintas. Llegan de las mismas empresas, a veces a través de la misma infraestructura, y quieren cosas completamente diferentes de ti.
- Los nombres son deliberadamente confusos: GPTBot entrena, OAI-SearchBot indexa para respuestas, ChatGPT-User es el asistente de una persona que obtiene tu página. Los tres son de OpenAI.
- Una regla escrita para bloquear "OpenAI" que atrapa a los tres es la forma más común en que un comerciante pierde la visibilidad de IA sin querer.
| Clase | Ejemplos | Qué hace | Costo de bloquearlo |
|---|---|---|---|
| Entrenamiento de modelos | GPTBot, ClaudeBot, CCBot, Google-Extended | Recopila contenido para corpus de entrenamiento | Ninguno para tus rankings o visibilidad de IA. Una elección comercial legítima. |
| Motor de respuesta | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Construye el índice del que responden los asistentes | Te elimina de las respuestas de IA. Este es el costoso. |
| Agente en vivo | ChatGPT-User, Perplexity-User | Obtiene tu página ahora mismo, para un comprador específico | Bloquea a un cliente real en medio de una compra. Nunca es correcto para un comerciante. |
El error suele ser un accidente, y generalmente no está en robots.txt
Alrededor de una cuarta parte de los sitios de SaaS B2B y comercio electrónico bloquean los principales rastreadores de LLM sin intención. El caso más citado es OAI-SearchBot, y también es uno de los de mayor impacto.
La razón por la que pasa desapercibido es que con frecuencia no está en robots.txt en absoluto. Es una regla de gestión de bots en la CDN, habilitada como una configuración predeterminada sensata por alguien que protege el origen de los scrapers, meses antes de que alguien pensara en el tráfico de referencia de IA. Nadie edita un archivo, así que nadie recuerda haberlo hecho.
Vale la pena verificar esto directamente en lugar de asumir, porque el fallo es completamente silencioso: no hay error, no hay una caída en un panel que ya monitoreas, solo una ausencia de un canal que no puedes ver.
Una política que es realmente defendible
La versión a la que la mayoría de los comerciantes deberían llegar, establecida como reglas en lugar de principios.
- Permite los rastreadores de motores de respuesta incondicionalmente. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Estos son el canal.
- Permite las solicitudes de agentes en vivo incondicionalmente. ChatGPT-User y Perplexity-User son un cliente, que llega con intención, por una puerta diferente.
- Decide sobre los rastreadores de entrenamiento deliberadamente. GPTBot, ClaudeBot, CCBot, Google-Extended. Bloquearlos no tiene costo en el ranking; permitirlos puede ayudar a los modelos a saber que tu marca existe. Cualquiera de las respuestas es defendible, una accidental no lo es.
- Nombra a los agentes individualmente en lugar de depender de un comodín. Una regla amplia es cómo se confunden las tres clases.
- Revisa la CDN además de robots.txt. Ahí es donde residen los bloqueos accidentales.
- Recuerda que robots.txt es voluntario. Es respetado por las empresas cuyo tráfico deseas e ignorado por los scrapers que te preocupan, por lo que es una herramienta deficiente para el problema del abuso y una precisa para el problema de la visibilidad.
Lo que el bloqueo no resuelve
Si la preocupación real es la carga de scraping o la recolección de precios, robots.txt es el instrumento equivocado; los operadores que causan ese problema no lo leen. La limitación de velocidad, la gestión de bots y la autenticación son las herramientas que funcionan allí, y se pueden aplicar sin tocar los rastreadores que te traen demanda.
Y la limitación de los ingresos generados por agentes para la mayoría de los comerciantes no es el acceso en absoluto. Adobe midió que las páginas de productos minoristas obtuvieron un 66% en legibilidad automática, el más bajo de cualquier tipo de página, mientras que el tráfico de IA a esos sitios creció un 393% año tras año. Muchos más comerciantes son invisibles porque su precio solo existe después de que se ejecuta JavaScript que porque bloquearon a alguien.
Puedes verificar ambos a la vez: nuestro verificador gratuito obtiene tu página sin JavaScript y lee tu robots.txt para informar cuál de las tres clases de rastreadores estás bloqueando realmente.
Preguntas frecuentes
- ¿Bloquear GPTBot perjudica mis rankings de Google?
- No. GPTBot es un rastreador de entrenamiento de modelos y no tiene ninguna influencia en los rankings de Google Search ni en si apareces en las respuestas de IA. El rastreador que determina la visibilidad de las respuestas de IA es OAI-SearchBot, que es un agente diferente con un nombre diferente.
- ¿Cuál es la diferencia entre GPTBot, OAI-SearchBot y ChatGPT-User?
- Los tres son de OpenAI y realizan trabajos diferentes. GPTBot recopila contenido para el entrenamiento de modelos. OAI-SearchBot construye el índice de búsqueda del que responde ChatGPT. ChatGPT-User es una solicitud en vivo en nombre de una persona específica que pregunta por ti en este momento. Un comerciante generalmente quiere bloquear, como máximo, el primero.
- ¿Cómo verifico si estoy bloqueando rastreadores de IA?
- Lee tu robots.txt, luego revisa las reglas de gestión de bots de tu CDN o WAF; ese segundo lugar es donde residen la mayoría de los bloqueos accidentales y donde nadie piensa buscar. Nuestro verificador gratuito de preparación de agentes lee robots.txt por ti e informa las tres clases por separado.
- ¿Bloquear los rastreadores de IA evitará que mi contenido sea scrapeado?
- No. robots.txt es voluntario: es respetado por las principales empresas de IA —las que te traen tráfico de referencia— e ignorado por los scrapers que realmente te preocupan. Te cuesta la visibilidad de forma fiable y previene el scraping de forma poco fiable.
- ¿Existe algún caso para que un comerciante bloquee los motores de respuesta?
- Muy pocos. Quizás una marca bajo un acuerdo de exclusividad, o una cuyo catálogo sea genuinamente confidencial. Para una tienda ordinaria, significa optar por no participar en un canal donde se ha medido que los visitantes referidos convierten mejor que el tráfico no-IA, a cambio de proteger un texto escrito para ser leído.