Commercio agentico
Bloccare i crawler AI danneggia il tuo posizionamento su Google?
Aggiornato il
Bloccare i crawler di addestramento di modelli come GPTBot, ClaudeBot e CCBot non ha alcun effetto sul posizionamento nella Ricerca Google. Google non utilizza quelle scansioni; il suo indice proviene da Googlebot, un agente diverso. Ciò che il blocco può costarti è la presenza nelle risposte AI, e solo se blocchi la classe sbagliata — i crawler di motori di risposta come OAI-SearchBot e PerplexityBot. Questi due risultati sono spesso confusi, e confonderli è il modo in cui una decisione relativa a un crawler di addestramento rimuove accidentalmente un brand da un canale di referral in crescita.
Due indici, due crawler, un errore comune
La Ricerca Google classifica ciò che Googlebot ha scansionato. Il corpus di addestramento di OpenAI è ciò che GPTBot ha scansionato. ChatGPT risponde alle ricerche da ciò che OAI-SearchBot ha indicizzato. Si tratta di scansioni separate che alimentano sistemi separati, e bloccarne uno non ha alcuna influenza sugli altri.
Quindi "bloccare i crawler AI danneggerà la mia SEO" ha una risposta chiara per il senso classico della SEO: no. Disabilita GPTBot e il tuo posizionamento su Google non sarà influenzato, perché Google non stava mai leggendo quella scansione.
La domanda che le persone di solito intendono, però, è più ampia — mi costerà traffico. Lì la risposta dipende interamente da quale agente la regola intercetta, e i nomi rendono facile sbagliare.
| Bloccare questo | Posizionamento su Google | Visibilità nelle risposte AI |
|---|---|---|
| GPTBot, ClaudeBot, CCBot (addestramento) | Nessun effetto | Nessun effetto |
| Google-Extended (addestramento Google) | Nessun effetto | Nessun effetto sulla Ricerca; influisce sull'uso per l'addestramento AI |
| OAI-SearchBot, PerplexityBot (motori di risposta) | Nessun effetto | Ti rimuove da quelle risposte |
| ChatGPT-User, Perplexity-User (recupero in tempo reale) | Nessun effetto | Blocca una ricerca cliente in tempo reale |
| Googlebot | Ti deindicizza | Indiretto |
Cosa dicono i dati misurati
Il blocco è più raro di quanto suggerisca la discussione. Uno studio peer-reviewed del 2025 su 40.455 siti web costantemente popolari ha rilevato che circa l'8-10% bloccava completamente almeno un crawler AI, salendo al 12-14% tra i siti più grandi — e i più frequentemente limitati erano GPTBot e CCBot, che sono crawler di addestramento. Questa è la scelta deliberata e senza costi piuttosto che l'errore costoso.
Nel nostro campione di 147 brand DTC, due di quelli che servivano robots.txt bloccavano i motori di risposta e sei bloccavano i crawler di addestramento, con l'insieme bloccato che variava da brand a brand piuttosto che seguire un modello. Una rilevazione separata di 15 grandi rivenditori ha rilevato che solo Amazon ed eBay limitavano i crawler AI.
Tre campioni, tre metodi, la stessa forma: dove il blocco avviene è per lo più mirato all'addestramento, e per lo più deliberato.
La modalità di errore che ti costa
Non robots.txt. Nel nostro studio, quattro su trenta brand hanno rifiutato un crawler identificato direttamente con un 403 o 429, e tre non sono riusciti a connettersi — nessuno dei quali appare in un audit di robots.txt, perché la decisione risiede in un set di regole di gestione bot presso la CDN.
È qui che si verifica la versione costosa di questo: qualcuno che protegge l'origine dagli scraper aggiunge una regola anni prima che il traffico di referral AI sia una considerazione, e nessuno che noterebbe il traffico mancante ha accesso alla console dove è stata impostata.
Se vuoi una risposta reale sul tuo sito, leggi il log della CDN piuttosto che il file. Un log di origine che non mostra OAI-SearchBot e un log della CDN che mostra OAI-SearchBot che riceve 403 sono problemi completamente diversi, e solo il secondo è tuo da risolvere.
Domande frequenti
- Bloccare GPTBot ridurrà il mio traffico da Google?
- No. La Ricerca Google classifica ciò che Googlebot ha scansionato; GPTBot alimenta il corpus di addestramento di OpenAI e non è un input per l'indice di Google. I due sono sistemi non correlati.
- Bloccare Google-Extended danneggia il mio posizionamento su Google?
- No. Google-Extended controlla se il tuo contenuto viene utilizzato per l'addestramento dell'AI generativa di Google, e Google ha dichiarato che non è un segnale di ranking per la Ricerca. È una decisione separata dall'accesso di Googlebot.
- Qual è quindi il rischio reale di un robots.txt restrittivo?
- Intercettare crawler di motori di risposta o recuperi di agenti in tempo reale in una regola che hai scritto per crawler di addestramento o scraper. Questo ti rimuove dalle risposte AI, che è un canale di referral in crescita dove il traffico è stato misurato convertire meglio rispetto a fonti non-AI.
- Come faccio a controllare cosa sto effettivamente bloccando?
- Leggi robots.txt e le tue regole bot della CDN o del WAF, perché la maggior parte dei blocchi accidentali risiede nel secondo e non nel primo. Il nostro checker gratuito legge robots.txt e riporta separatamente i crawler di addestramento, di motori di risposta e di agenti in tempo reale; nulla di esterno può vedere le tue regole CDN.