Comércio agêntico
Como você verifica se rastreadores de IA estão visitando seu site?
Atualizado em
Busque (grep) em seus logs de acesso pelas strings de user-agent das três classes de rastreadores e conte-as separadamente: rastreadores de treinamento (GPTBot, ClaudeBot, CCBot, Bytespider), mecanismos de resposta (OAI-SearchBot, PerplexityBot, Claude-SearchBot) e buscas de agentes ao vivo (ChatGPT-User, Perplexity-User). Ver zero acessos de mecanismos de resposta ao longo de uma semana é a descoberta que importa — quase sempre significa que uma regra de CDN ou WAF os está recusando antes que sua origem registre a solicitação.
O que buscar (grep)
Conte as três classes separadamente. Um único total não lhe diz nada útil, porque as classes têm implicações opostas: rastreamentos de treinamento são neutros, rastreamentos de mecanismos de resposta são como você aparece, e buscas de agentes ao vivo significam que uma pessoa está perguntando sobre você agora.
- Treinamento: GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Mecanismos de resposta: OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Buscas de agentes ao vivo: ChatGPT-User, Perplexity-User
Onde procurar, em ordem de utilidade
Seu log de acesso de origem é o lugar óbvio e o menos confiável, porque qualquer coisa bloqueada na borda nunca o alcança. Verifique o log da CDN primeiro se você tiver um — Cloudflare, Fastly, CloudFront e Akamai expõem logs de solicitação com user-agent, e, crucialmente, eles mostram solicitações que foram recusadas, bem como as atendidas.
Essa diferença é o ponto principal do exercício. Um log de origem mostrando nenhum tráfego de OAI-SearchBot e um log de CDN mostrando OAI-SearchBot recebendo 403s descrevem problemas completamente diferentes, e apenas o segundo é acionável por você.
Lendo o resultado
Três padrões, três conclusões.
| O que você vê | O que significa | O que fazer |
|---|---|---|
| Mecanismos de resposta rastreando, 200s | Você está acessível. Se você é citado depende do seu conteúdo e da legibilidade por máquina. | Verifique o que eles podem realmente analisar — preço e disponibilidade em HTML puro. |
| Mecanismos de resposta recebendo 403 ou 429 | Uma regra de gerenciamento de bots os está recusando. Este é o caso comum e é invisível em robots.txt. | Coloque-os na lista de permissões (allowlist) na CDN. Nada mais que você faça importa até que isso seja corrigido. |
| Nenhuma solicitação de mecanismo de resposta | Ou eles foram recusados antes que sua origem registrasse qualquer coisa, ou o site ainda não está em sua fronteira de rastreamento. | Verifique o log da CDN. Se estiver limpo lá também, o problema é a descoberta — sitemap, links, indexação. |
Verifique em vez de confiar no user-agent
Uma string de user-agent é auto-declarada e trivialmente forjada, então um log cheio de acessos de "GPTBot" não é prova de que a OpenAI visitou. Scrapers se passam por rastreadores respeitáveis precisamente porque muitos sites os colocam na lista de permissões (allowlist).
Os operadores publicam faixas de IP para seus rastreadores, e uma consulta DNS reversa no IP solicitante é a verificação padrão. Isso importa mais quando você está decidindo se a carga de rastreamento justifica um bloqueio: limitar um GPTBot forjado está bem, e limitar o real é uma decisão de política que você deve tomar deliberadamente.
A outra metade da imagem
A análise de logs diz se os rastreadores podem alcançá-lo. Não diz se o que eles encontraram era analisável — e a segunda lacuna é maior em toda a indústria. A Adobe mediu páginas de produtos de varejo com pontuação de 66% em legibilidade por máquina, a mais baixa de qualquer tipo de página.
Nosso verificador gratuito cobre essa metade: ele busca uma página sem JavaScript executado e relata o que um agente pode realmente ler, e ele lê seu robots.txt e relata as três classes de rastreadores separadamente. Ele não pode ver suas regras de CDN — nada externo pode, e é por isso que a verificação de log acima vale a pena ser feita manualmente.
Perguntas frequentes
- Com que frequência os rastreadores de IA devem visitar?
- Não há um benchmark que valha a pena citar, porque varia enormemente com o tamanho do site, frequência de atualização e autoridade existente. O sinal para agir não é a taxa, mas os códigos de status: solicitações de mecanismos de resposta recebendo 403s é um problema em qualquer volume, e zero solicitações ao longo de uma semana vale a pena investigar.
- Não vejo nenhum tráfego de rastreadores de IA. Meu site está bloqueado?
- Verifique o log da CDN antes de concluir qualquer coisa. Solicitações recusadas na borda nunca chegam à sua origem, então um log de origem vazio parece idêntico, quer você esteja sendo bloqueado ou simplesmente não tenha sido descoberto. Esses casos precisam de soluções opostas.
- Posso confiar na string de user-agent?
- Não — é auto-declarado e comumente forjado, precisamente porque nomes de rastreadores respeitáveis são colocados na lista de permissões (allowlist). Verifique contra as faixas de IP publicadas pelo operador ou por DNS reverso no endereço solicitante antes de tomar uma decisão baseada no volume.
- O tráfego de ChatGPT-User significa que alguém está comprando?
- Significa que alguém fez uma pergunta a um assistente que o levou a buscar sua página para eles, naquele momento. É o mais próximo de um sinal de intenção ao vivo em toda esta categoria, e vale a pena separá-lo do tráfego de indexação em qualquer relatório que você construir.
Fontes
- O tráfego de IA cresce, mas sites de varejo ficam para trás na visibilidade de busca de IA (Q1 2026) — Adobe Digital Insights