Commercio agentico
Un negozio e-commerce dovrebbe bloccare i crawler AI in robots.txt?
Aggiornato il
Blocca i crawler per l'addestramento dei modelli se lo desideri; non costa nulla in termini di posizionamento nei motori di ricerca o visibilità nelle risposte AI. Non bloccare i crawler dei motori di risposta come OAI-SearchBot, PerplexityBot e Claude-SearchBot, o le richieste degli agenti live come ChatGPT-User — sono questi che ti inseriscono nelle risposte AI e portano traffico di riferimento. La distinzione è importante perché circa un quarto dei siti e-commerce e B2B SaaS blocca involontariamente i principali crawler LLM, spesso a livello del CDN anziché in robots.txt.
La maggior parte dei consigli su questo argomento è scritta per gli editori
Il caso per bloccare i crawler AI è stato formulato da e per gli editori, e di per sé è un argomento forte: se il tuo prodotto è il testo, un modello addestrato su quel testo compete con te, e tu stai cedendo l'inventario gratuitamente.
Un commerciante si trova nella posizione opposta. Il tuo prodotto è un prodotto. Il testo sul tuo sito esiste per venderlo. Bloccare i crawler che mostrerebbero quel prodotto a un acquirente che ha descritto esattamente ciò che voleva non è proteggere un bene — è rifiutare un canale per proteggere una pagina di vendita.
Ecco perché applicare i consigli degli editori a un negozio produce costantemente la risposta sbagliata, e perché la domanda che vale la pena porsi non è "bloccare o consentire" ma "quale dei tre, e per cosa".
Tre crawler, tre diversi compromessi
"Crawler AI" indica tre cose distinte. Arrivano dalle stesse aziende, a volte tramite la stessa infrastruttura, e vogliono cose completamente diverse da te.
- I nomi sono volutamente confondibili: GPTBot addestra, OAI-SearchBot indicizza per le risposte, ChatGPT-User è l'assistente di una persona che recupera la tua pagina. Tutti e tre sono di OpenAI.
- Una regola scritta per bloccare "OpenAI" che cattura tutti e tre è il modo più comune in cui un commerciante perde la visibilità AI senza volerlo.
| Classe | Esempi | Cosa fa | Costo del blocco |
|---|---|---|---|
| Addestramento modelli | GPTBot, ClaudeBot, CCBot, Google-Extended | Raccoglie contenuti per i corpora di addestramento | Nessuno per il tuo posizionamento o la visibilità AI. Una scelta commerciale legittima. |
| Motore di risposta | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Costruisce l'indice da cui gli assistenti rispondono | Ti rimuove dalle risposte AI. Questo è quello costoso. |
| Agente live | ChatGPT-User, Perplexity-User | Recupera la tua pagina in questo momento, per un acquirente specifico | Blocca un cliente reale a metà acquisto. Mai corretto per un commerciante. |
L'errore è solitamente un incidente, e di solito non in robots.txt
Circa un quarto dei siti B2B SaaS ed e-commerce blocca i principali crawler LLM senza intenzione. L'esempio più citato è OAI-SearchBot, ed è anche tra quelli con il maggiore impatto.
Il motivo per cui passa inosservato è che spesso non si trova affatto in robots.txt. È una regola di gestione dei bot al CDN, abilitata come impostazione predefinita sensata da qualcuno che protegge l'origine dagli scraper, mesi prima che qualcuno pensasse al traffico di riferimento AI. Nessuno modifica un file, quindi nessuno ricorda di averlo fatto.
Vale la pena verificarlo direttamente anziché supporre, perché il fallimento è completamente silenzioso: non c'è errore, nessun calo in una dashboard che già monitori, solo un'assenza da un canale che non puoi vedere.
Una politica effettivamente difendibile
La versione a cui la maggior parte dei commercianti dovrebbe arrivare, espressa come regole anziché principi.
- Consenti i crawler dei motori di risposta incondizionatamente. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Questi sono il canale.
- Consenti le richieste degli agenti live incondizionatamente. ChatGPT-User e Perplexity-User sono un cliente, che arriva con intento, attraverso una porta d'ingresso diversa.
- Decidi sui crawler di addestramento deliberatamente. GPTBot, ClaudeBot, CCBot, Google-Extended. Bloccarli è privo di costi di posizionamento; consentirli può aiutare i modelli a sapere che il tuo brand esiste. Entrambe le risposte sono difendibili — una accidentale no.
- Nomina gli agenti individualmente anziché affidarti a un carattere jolly. Una regola ampia è il modo in cui le tre classi vengono confuse.
- Controlla il CDN oltre a robots.txt. È lì che si trovano i blocchi accidentali.
- Ricorda che robots.txt è volontario. È rispettato dalle aziende il cui traffico desideri e ignorato dagli scraper di cui ti preoccupi, quindi è uno strumento scadente per il problema degli abusi e uno preciso per il problema della visibilità.
Cosa il blocco non risolve
Se la vera preoccupazione è il carico di scraping o la raccolta dei prezzi, robots.txt è lo strumento sbagliato — gli operatori che causano quel problema non lo leggono. La limitazione della frequenza, la gestione dei bot e l'autenticazione sono gli strumenti che funzionano in quel caso, e possono essere applicati senza toccare i crawler che ti portano domanda.
E il limite sui ricavi generati dagli agenti per la maggior parte dei commercianti non è affatto l'accesso. Adobe ha misurato che le pagine dei prodotti al dettaglio ottengono un punteggio del 66% in leggibilità automatica, il più basso di qualsiasi tipo di pagina, mentre il traffico proveniente dall'AI verso quei siti è cresciuto del 393% anno su anno. Molti più commercianti sono invisibili perché il loro prezzo esiste solo dopo l'esecuzione di JavaScript che perché hanno bloccato qualcuno.
Puoi controllare entrambi contemporaneamente: il nostro checker gratuito recupera la tua pagina senza JavaScript e legge il tuo robots.txt per segnalare quale delle tre classi di crawler stai effettivamente bloccando.
Domande frequenti
- Bloccare GPTBot danneggia il mio posizionamento su Google?
- No. GPTBot è un crawler per l'addestramento dei modelli e non ha alcuna influenza sul posizionamento nella Ricerca Google o sulla tua comparsa nelle risposte AI. Il crawler che determina la visibilità delle risposte AI è OAI-SearchBot, che è un agente diverso con un nome diverso.
- Qual è la differenza tra GPTBot, OAI-SearchBot e ChatGPT-User?
- Tutti e tre sono di OpenAI e svolgono lavori diversi. GPTBot raccoglie contenuti per l'addestramento dei modelli. OAI-SearchBot costruisce l'indice di ricerca da cui ChatGPT risponde. ChatGPT-User è una richiesta live per conto di una persona specifica che sta chiedendo di te in questo momento. Un commerciante generalmente vuole bloccare al massimo il primo.
- Come faccio a controllare se sto bloccando i crawler AI?
- Leggi il tuo robots.txt, quindi controlla le regole di gestione dei bot del tuo CDN o WAF — quel secondo posto è dove si trovano la maggior parte dei blocchi accidentali e dove nessuno pensa di guardare. Il nostro checker gratuito di prontezza degli agenti legge robots.txt per te e segnala le tre classi separatamente.
- Bloccare i crawler AI impedirà che i miei contenuti vengano scansionati?
- No. robots.txt è volontario: è rispettato dalle principali aziende AI — quelle che ti portano traffico di riferimento — e ignorato dagli scraper di cui ti preoccupi realmente. Ti costa in modo affidabile la visibilità e previene in modo inaffidabile lo scraping.
- C'è qualche caso in cui un commerciante dovrebbe bloccare i motori di risposta?
- Molto pochi. Forse un brand sotto un accordo di esclusività, o uno il cui catalogo è genuinamente confidenziale. Per un negozio ordinario significa rinunciare a un canale dove i visitatori di riferimento hanno dimostrato di convertire meglio del traffico non-AI, in cambio della protezione di testi scritti per essere letti.