Commercio agentico
Qual è la differenza tra GPTBot, OAI-SearchBot e ChatGPT-User?
Aggiornato il
Sono tre agenti di OpenAI che svolgono lavori diversi. GPTBot raccoglie contenuti per l'addestramento dei modelli — bloccarlo non costa nulla in termini di posizionamento nei motori di ricerca o visibilità nelle risposte AI. OAI-SearchBot costruisce l'indice di ricerca da cui ChatGPT trae le risposte — bloccarlo ti rimuove dalle risposte AI. ChatGPT-User è un recupero in tempo reale effettuato per conto di una persona specifica che sta chiedendo informazioni su di te in questo momento — bloccarlo allontana un cliente a metà domanda. Un commerciante dovrebbe bloccare al massimo il primo.
I nomi sono il problema
Tutti e tre appartengono a OpenAI, tutti e tre appaiono nei tuoi log come traffico OpenAI, e i loro nomi non danno quasi nessun indizio su chi sia chi. Questa non è tanto una critica alla denominazione quanto una spiegazione del perché l'errore più costoso in quest'area sia un incidente piuttosto che una decisione.
Una regola scritta per "bloccare OpenAI" — la cosa intuitiva da scrivere — li cattura tutti e tre. L'intento è solitamente quello di non partecipare all'addestramento dei modelli. L'effetto include l'esclusione dai risultati di ricerca di ChatGPT e il rifiuto delle ricerche in tempo reale dei clienti.
| User-agent | Cosa fa | Bloccarlo ti costa |
|---|---|---|
| GPTBot | Scansiona contenuti in corpora di addestramento per modelli futuri | Nulla in termini di posizionamento o visibilità nelle risposte AI. Una scelta commerciale legittima. |
| OAI-SearchBot | Costruisce l'indice da cui ChatGPT trae le risposte di ricerca | La tua presenza nelle risposte di ChatGPT. Questo è quello costoso. |
| ChatGPT-User | Recupera una pagina in tempo reale perché un utente specifico ha chiesto informazioni al riguardo | Una persona reale, a metà domanda, che veniva indirizzata a te. |
Perché bloccare GPTBot è davvero gratuito
Questo sorprende le persone, quindi vale la pena essere espliciti. I crawler di addestramento non hanno alcuna influenza sul posizionamento di Google Search — Google non utilizza la scansione di OpenAI — e nessuna influenza sul fatto che ChatGPT ti mostri nei risultati di ricerca, perché ciò proviene da un indice diverso costruito da un agente diverso.
Ciò che perdi bloccando GPTBot è più difficile da misurare: i modelli futuri potrebbero sapere meno del tuo brand avendo letto meno contenuti. Se questo sia importante dipende dal fatto che tu preferisca essere descritto con le tue parole o tramite la copertura di terze parti. Entrambe le opzioni sono difendibili. Nessuna delle due ti costa un posizionamento.
Un robots.txt che riflette l'intento reale
Se il tuo intento è "non addestrare sui miei contenuti, ma mostrami", le regole che lo esprimono nominano esplicitamente ogni agente invece di affidarsi a un pattern.
- Disallow GPTBot se vuoi escluderti dall'addestramento. Considera anche CCBot, Bytespider, Google-Extended e Applebot-Extended, che sono i crawler di addestramento equivalenti di altri operatori.
- Allow OAI-SearchBot, PerplexityBot, Claude-SearchBot e DuckAssistBot. Questi sono i motori di risposta.
- Allow ChatGPT-User e Perplexity-User. Questi sono recuperi in tempo reale per conto di una persona.
- Non fare affidamento su una regola wildcard per esprimere tutto questo. Un `User-agent: *` disallow che intendevi per gli scraper si applicherà a tutti i precedenti.
- Fai attenzione alle righe User-agent consecutive. Diversi agenti elencati insieme prima di un Disallow condividono quella regola — è così che GPTBot e OAI-SearchBot finiscono per essere bloccati da una riga che qualcuno ha scritto per uno di essi.
Controlla la CDN, non solo il file
La regola che puoi leggere raramente è dove risiede il blocco. Quando abbiamo controllato trenta marchi DTC ben noti, nessuno ha bloccato i motori di risposta in robots.txt — ma quattro hanno rifiutato un crawler identificato direttamente con un 403 o 429, e tre non sono riusciti a connettersi affatto.
Questa decisione risiede in un set di regole di gestione dei bot presso la CDN o il WAF, solitamente aggiunto da qualcuno che protegge l'origine dagli scraper molto prima che il traffico di riferimento AI fosse una considerazione. Non appare in nessun audit di robots.txt, e la persona che noterebbe il traffico mancante non ha visibilità sulla console dove è stato configurato.
La domanda che vale la pena porre a chiunque amministri il tuo edge è specifica e ha una risposta definita: OAI-SearchBot, PerplexityBot e ChatGPT-User sono nella lista bianca (allowlist)?
Domande frequenti
- Bloccare GPTBot danneggia il mio SEO?
- No. GPTBot è un crawler per l'addestramento dei modelli e non ha alcun effetto sul posizionamento di Google Search o sul fatto che ChatGPT ti mostri nei risultati di ricerca. Questi provengono rispettivamente da Googlebot e OAI-SearchBot — agenti completamente diversi.
- Se blocco GPTBot, ChatGPT troverà comunque i miei prodotti?
- Sì, a condizione che OAI-SearchBot e ChatGPT-User siano consentiti. La ricerca di ChatGPT è costruita da un indice separato e da recuperi in tempo reale, nessuno dei quali dipende dalle scansioni di addestramento.
- Quale appare quando qualcuno chiede a ChatGPT del mio brand?
- Di solito ChatGPT-User, che recupera la tua pagina in tempo reale per quella domanda specifica, e OAI-SearchBot per ciò che era già indicizzato. Se vedi ChatGPT-User nei tuoi log, una persona reale sta chiedendo informazioni su di te in quel momento.
- Esiste una divisione equivalente per altre aziende AI?
- Sì, e segue lo stesso schema. Anthropic utilizza ClaudeBot per l'addestramento e Claude-SearchBot per la ricerca; Perplexity utilizza PerplexityBot per l'indicizzazione e Perplexity-User per i recuperi in tempo reale; Google separa Google-Extended (addestramento) dal normale Googlebot. Il pattern è abbastanza coerente da poterci scrivere una policy.