Comercio agéntico
¿Cómo compruebas si los rastreadores de IA están visitando tu sitio?
Actualizado
Busca (grep) en tus registros de acceso las cadenas de user-agent de las tres clases de rastreadores y cuéntalas por separado: rastreadores de entrenamiento (GPTBot, ClaudeBot, CCBot, Bytespider), motores de respuesta (OAI-SearchBot, PerplexityBot, Claude-SearchBot) y solicitudes de agentes en vivo (ChatGPT-User, Perplexity-User). Ver cero visitas de motores de respuesta durante una semana es el hallazgo importante: casi siempre significa que una regla de CDN o WAF los está rechazando antes de que tu origen registre la solicitud.
Qué buscar (grep)
Cuenta las tres clases por separado. Un solo total no te dice nada útil, porque las clases tienen implicaciones opuestas: los rastreos de entrenamiento son neutrales, los rastreos de motores de respuesta son cómo te haces visible, y las solicitudes de agentes en vivo significan que una persona está preguntando por ti en este momento.
- Entrenamiento: GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Motores de respuesta: OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Solicitudes de agentes en vivo: ChatGPT-User, Perplexity-User
Dónde buscar, en orden de utilidad
Tu registro de acceso de origen es el lugar obvio y el menos fiable, porque cualquier cosa bloqueada en el borde nunca lo alcanza. Revisa primero el registro de la CDN si tienes una — Cloudflare, Fastly, CloudFront y Akamai exponen registros de solicitudes con user-agent, y, lo que es crucial, muestran las solicitudes que fueron rechazadas, así como las servidas.
Esa diferencia es el objetivo principal del ejercicio. Un registro de origen que no muestra tráfico de OAI-SearchBot y un registro de CDN que muestra a OAI-SearchBot recibiendo 403s describen problemas completamente diferentes, y solo el segundo es algo sobre lo que puedes actuar.
Interpretando el resultado
Tres patrones, tres conclusiones.
| Lo que ves | Lo que significa | Qué hacer |
|---|---|---|
| Motores de respuesta rastreando, 200s | Eres accesible. Si eres citado depende de tu contenido y de la legibilidad por máquina. | Comprueba lo que realmente pueden analizar — precio y disponibilidad en HTML sin procesar. |
| Motores de respuesta recibiendo 403 o 429 | Una regla de gestión de bots los está rechazando. Este es el caso común y es invisible en robots.txt. | Inclúyelos en la lista blanca de la CDN. Nada más de lo que hagas importará hasta que esto se solucione. |
| Ninguna solicitud de motor de respuesta en absoluto | O fueron rechazados antes de que tu origen registrara algo, o el sitio aún no está en su frontera de rastreo. | Revisa el registro de la CDN. Si también está limpio allí, el problema es el descubrimiento — sitemap, enlaces, indexación. |
Verifica en lugar de confiar en el user-agent
Una cadena de user-agent es autodeclarada y trivialmente falsificable, por lo que un registro lleno de visitas de "GPTBot" no es prueba de que OpenAI haya visitado. Los scrapers suplantan a los rastreadores de buena reputación precisamente porque muchos sitios los incluyen en la lista blanca.
Los operadores publican rangos de IP para sus rastreadores, y una búsqueda DNS inversa en la IP solicitante es la verificación estándar. Esto importa más cuando decides si la carga de rastreo justifica un bloqueo: limitar un GPTBot falsificado está bien, y limitar el real es una decisión de política que debes tomar deliberadamente.
La otra mitad del panorama
El análisis de registros te dice si los rastreadores pueden alcanzarte. No te dice si lo que encontraron era analizable — y la segunda brecha es mayor en toda la industria. Adobe midió que las páginas de productos minoristas obtuvieron un 66% en legibilidad por máquina, el más bajo de cualquier tipo de página.
Nuestro verificador gratuito cubre esa mitad: recupera una página sin JavaScript ejecutado e informa lo que un agente puede leer realmente, y lee tu robots.txt e informa las tres clases de rastreadores por separado. No puede ver tus reglas de CDN — nada externo puede, por eso la verificación de registros anterior vale la pena hacerla manualmente.
Preguntas frecuentes
- ¿Con qué frecuencia deberían visitar los rastreadores de IA?
- No hay un punto de referencia que valga la pena citar, porque varía enormemente con el tamaño del sitio, la frecuencia de actualización y la autoridad existente. La señal sobre la que actuar no es la tasa sino los códigos de estado: las solicitudes de motores de respuesta que reciben 403s son un problema a cualquier volumen, y cero solicitudes durante una semana vale la pena investigar.
- No veo tráfico de rastreadores de IA en absoluto. ¿Está bloqueado mi sitio?
- Revisa el registro de la CDN antes de concluir nada. Las solicitudes rechazadas en el borde nunca llegan a tu origen, por lo que un registro de origen vacío se ve idéntico, ya sea que estés siendo bloqueado o simplemente no hayas sido descubierto. Esos necesitan soluciones opuestas.
- ¿Puedo confiar en la cadena de user-agent?
- No — es autodeclarado y comúnmente falsificado, precisamente porque los nombres de rastreadores de buena reputación son incluidos en la lista blanca. Verifica contra los rangos de IP publicados por el operador o mediante DNS inverso en la dirección solicitante antes de tomar una decisión basada en el volumen.
- ¿El tráfico de ChatGPT-User significa que alguien está comprando?
- Significa que alguien le hizo una pregunta a un asistente que lo llevó a buscar tu página para ellos, en ese momento. Es lo más parecido a una señal de intención en vivo en toda esta categoría, y vale la pena separarlo del tráfico de indexación en cualquier informe que construyas.