Comércio agêntico
Uma loja de e-commerce deveria bloquear rastreadores de IA em robots.txt?
Atualizado em
Bloqueie rastreadores de treinamento de modelo se quiser; isso não custa nada em classificações de pesquisa ou visibilidade de respostas de IA. Não bloqueie rastreadores de mecanismos de resposta como OAI-SearchBot, PerplexityBot e Claude-SearchBot, ou buscas de agentes ao vivo como ChatGPT-User — esses são os que colocam você em respostas de IA e trazem tráfego de referência. A distinção importa porque cerca de um quarto dos sites de e-commerce e B2B SaaS bloqueiam rastreadores de LLM importantes sem intenção, frequentemente na CDN em vez de em robots.txt.
A maioria dos conselhos sobre isso é escrita para editores
O argumento para bloquear rastreadores de IA foi feito por e para editores, e em seus próprios termos é um argumento forte: se seu produto é o texto, um modelo treinado nesse texto compete com você, e você está entregando o inventário de graça.
Um comerciante está na posição oposta. Seu produto é um produto. O texto em seu site existe para vendê-lo. Bloquear os rastreadores que exibiriam esse produto para um comprador que descreveu exatamente o que queria não é proteger um ativo — é recusar um canal para proteger uma página de vendas.
É por isso que aplicar conselhos de editores a uma loja consistentemente produz a resposta errada, e por que a pergunta que vale a pena fazer não é "bloquear ou permitir", mas "qual dos três, e para quê".
Três rastreadores, três acordos diferentes
"Rastreador de IA" nomeia três coisas distintas. Eles chegam das mesmas empresas, às vezes pela mesma infraestrutura, e querem coisas completamente diferentes de você.
- Os nomes são deliberadamente confusos: GPTBot treina, OAI-SearchBot indexa para respostas, ChatGPT-User é o assistente de uma pessoa buscando sua página. Todos os três são da OpenAI.
- Uma regra escrita para bloquear "OpenAI" que pega os três é a maneira mais comum de um comerciante perder visibilidade de IA sem querer.
| Classe | Exemplos | O que faz | Custo de bloqueá-lo |
|---|---|---|---|
| Treinamento de modelo | GPTBot, ClaudeBot, CCBot, Google-Extended | Coleta conteúdo em corpora de treinamento | Nenhum para suas classificações ou visibilidade de IA. Uma escolha comercial legítima. |
| Mecanismo de resposta | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Constrói o índice do qual os assistentes respondem | Remove você das respostas de IA. Este é o caro. |
| Agente ao vivo | ChatGPT-User, Perplexity-User | Busca sua página agora, para um comprador específico | Bloqueia um cliente real no meio da compra. Nunca correto para um comerciante. |
O erro geralmente é um acidente, e geralmente não está em robots.txt
Cerca de um quarto dos sites B2B SaaS e de e-commerce bloqueiam rastreadores de LLM importantes sem intenção. O caso mais comumente citado é OAI-SearchBot, e também está entre os de maior impacto.
A razão pela qual passa despercebido é que frequentemente não está em robots.txt. É uma regra de gerenciamento de bots na CDN, ativada como um padrão sensato por alguém protegendo a origem de scrapers, meses antes de alguém pensar em tráfego de referência de IA. Ninguém edita um arquivo, então ninguém se lembra de ter feito isso.
Vale a pena verificar isso diretamente em vez de presumir, porque a falha é completamente silenciosa: não há erro, nenhuma queda em um painel que você já monitora, apenas uma ausência de um canal que você não pode ver.
Uma política que é realmente defensável
A versão que a maioria dos comerciantes deveria adotar, declarada como regras em vez de princípios.
- Permita rastreadores de mecanismos de resposta incondicionalmente. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Estes são o canal.
- Permita buscas de agentes ao vivo incondicionalmente. ChatGPT-User e Perplexity-User são um cliente, chegando com intenção, por uma porta diferente.
- Decida sobre rastreadores de treinamento deliberadamente. GPTBot, ClaudeBot, CCBot, Google-Extended. Bloqueá-los é livre de custo de classificação; permiti-los pode ajudar os modelos a saber que sua marca existe. Qualquer resposta é defensável — uma acidental não é.
- Nomeie os agentes individualmente em vez de depender de um curinga. Uma regra ampla é como as três classes são confundidas.
- Verifique a CDN, bem como robots.txt. É aí que os bloqueios acidentais residem.
- Lembre-se que robots.txt é voluntário. É respeitado pelas empresas cujo tráfego você deseja e ignorado pelos scrapers com os quais você se preocupa, então é uma ferramenta ruim para o problema de abuso e uma ferramenta precisa para o problema de visibilidade.
O que o bloqueio não resolve
Se a preocupação real é carga de scraping ou coleta de preços, robots.txt é o instrumento errado — os operadores que causam esse problema não o leem. Limitação de taxa, gerenciamento de bots e autenticação são as ferramentas que funcionam lá, e podem ser aplicadas sem tocar nos rastreadores que trazem demanda.
E a restrição na receita gerada por agentes para a maioria dos comerciantes não é o acesso. A Adobe mediu páginas de produtos de varejo com pontuação de 66% em legibilidade por máquina, a mais baixa de qualquer tipo de página, enquanto o tráfego de IA para esses sites cresceu 393% ano a ano. Muito mais comerciantes são invisíveis porque seu preço só existe depois que o JavaScript é executado do que porque bloquearam alguém.
Você pode verificar ambos de uma vez: nosso verificador gratuito busca sua página sem JavaScript e lê seu robots.txt para relatar qual das três classes de rastreadores você está realmente bloqueando.
Perguntas frequentes
- Bloquear GPTBot prejudica minhas classificações no Google?
- Não. GPTBot é um rastreador de treinamento de modelo e não tem influência nas classificações da Pesquisa Google ou se você aparece em respostas de IA. O rastreador que determina a visibilidade das respostas de IA é OAI-SearchBot, que é um agente diferente com um nome diferente.
- Qual é a diferença entre GPTBot, OAI-SearchBot e ChatGPT-User?
- Todos os três são da OpenAI e fazem trabalhos diferentes. GPTBot coleta conteúdo para treinamento de modelo. OAI-SearchBot constrói o índice de pesquisa do qual o ChatGPT responde. ChatGPT-User é uma busca ao vivo em nome de uma pessoa específica que está perguntando sobre você agora. Um comerciante geralmente quer bloquear no máximo o primeiro.
- Como verifico se estou bloqueando rastreadores de IA?
- Leia seu robots.txt, então verifique suas regras de gerenciamento de bots da CDN ou WAF — esse segundo lugar é onde a maioria dos bloqueios acidentais reside e onde ninguém pensa em procurar. Nosso verificador gratuito de prontidão de agentes lê robots.txt para você e relata as três classes separadamente.
- Bloquear rastreadores de IA impedirá que meu conteúdo seja raspado?
- Não. robots.txt é voluntário: é respeitado pelas principais empresas de IA — as que trazem tráfego de referência — e ignorado pelos scrapers com os quais você realmente se preocupa. Ele confiavelmente custa sua visibilidade e não confiavelmente impede o scraping.
- Há algum caso para um comerciante bloquear mecanismos de resposta?
- Muito poucos. Talvez uma marca sob um acordo de exclusividade, ou uma cujo catálogo seja genuinamente confidencial. Para uma loja comum, significa optar por sair de um canal onde visitantes referenciados foram medidos convertendo melhor do que o tráfego não-IA, em troca de proteger um texto escrito para ser lido.