Commercio agentico
Come verificare se i crawler AI stanno visitando il tuo sito?
Aggiornato il
Cerca (grep) nei tuoi log di accesso le stringhe user-agent delle tre classi di crawler e contale separatamente: crawler di training (GPTBot, ClaudeBot, CCBot, Bytespider), motori di risposta (OAI-SearchBot, PerplexityBot, Claude-SearchBot) e richieste di agenti live (ChatGPT-User, Perplexity-User). Vedere zero accessi da motori di risposta nell'arco di una settimana è il dato che conta — significa quasi sempre che una regola CDN o WAF li sta rifiutando prima che la tua origine registri la richiesta.
Cosa cercare (grep)
Conta le tre classi separatamente. Un unico totale non ti dice nulla di utile, perché le classi hanno implicazioni opposte: i crawl di training sono neutrali, i crawl dei motori di risposta sono il modo in cui vieni mostrato, e le richieste di agenti live significano che una persona sta chiedendo di te in questo momento.
- Training: GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Motori di risposta: OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Richieste di agenti live: ChatGPT-User, Perplexity-User
Dove cercare, in ordine di utilità
Il tuo log di accesso all'origine è il luogo ovvio e il meno affidabile, perché tutto ciò che viene bloccato al 'bordo' non lo raggiunge mai. Controlla prima il log della CDN se ne hai una — Cloudflare, Fastly, CloudFront e Akamai espongono tutti i log delle richieste con user-agent, e, cosa fondamentale, mostrano le richieste che sono state rifiutate oltre a quelle servite.
Questa differenza è il punto cruciale dell'esercizio. Un log di origine che non mostra traffico OAI-SearchBot e un log CDN che mostra OAI-SearchBot ricevere 403s descrivono problemi completamente diversi, e solo il secondo è risolvibile da te.
Lettura del risultato
Tre schemi, tre conclusioni.
| Cosa vedi | Cosa significa | Cosa fare |
|---|---|---|
| Motori di risposta in crawling, 200s | Sei raggiungibile. Se vieni citato dipende dal tuo contenuto e dalla leggibilità automatica. | Controlla cosa possono effettivamente analizzare — prezzo e disponibilità in HTML grezzo. |
| Motori di risposta che ricevono 403 o 429 | Una regola di gestione dei bot li sta rifiutando. Questo è il caso comune ed è invisibile in robots.txt. | Inseriscili nella lista bianca (allowlist) della CDN. Nient'altro che tu faccia conta finché questo non è risolto. |
| Nessuna richiesta da motori di risposta | O sono stati rifiutati prima che la tua origine registrasse qualcosa, o il sito non è ancora nella loro 'crawl frontier'. | Controlla il log della CDN. Se è pulito anche lì, il problema è la scoperta — sitemap, link, indicizzazione. |
Verifica piuttosto che fidarti dello user-agent
Una stringa user-agent è auto-dichiarata e facilmente falsificabile, quindi un log pieno di accessi da "GPTBot" non è la prova che OpenAI abbia visitato. Gli scraper impersonano crawler affidabili proprio perché molti siti li inseriscono nella lista bianca (allowlist).
Gli operatori pubblicano gli intervalli IP per i loro crawler, e una ricerca DNS inversa sull'IP richiedente è il controllo standard. Questo è più importante quando decidi se il carico di crawl giustifica un blocco: limitare un GPTBot falsificato va bene, e limitare quello reale è una decisione politica che dovresti prendere deliberatamente.
L'altra metà del quadro
L'analisi dei log ti dice se i crawler possono raggiungerti. Non ti dice se ciò che hanno trovato era analizzabile — e il secondo divario è più ampio a livello di settore. Adobe ha misurato che le pagine di prodotto al dettaglio ottengono il 66% di leggibilità automatica, il più basso di qualsiasi tipo di pagina.
Il nostro checker gratuito copre questa metà: recupera una pagina senza JavaScript eseguito e riporta ciò che un agente può effettivamente leggere, e legge il tuo robots.txt e riporta le tre classi di crawler separatamente. Non può vedere le tue regole CDN — nulla di esterno può farlo, motivo per cui il controllo dei log di cui sopra vale la pena farlo a mano.
Domande frequenti
- Quanto spesso dovrebbero visitare i crawler AI?
- Non esiste un benchmark che valga la pena citare, perché varia enormemente con la dimensione del sito, la frequenza di aggiornamento e l'autorità esistente. Il segnale su cui agire non è la frequenza ma i codici di stato: le richieste dei motori di risposta che ricevono 403s sono un problema a qualsiasi volume, e zero richieste nell'arco di una settimana meritano di essere investigate.
- Non vedo alcun traffico di crawler AI. Il mio sito è bloccato?
- Controlla il log della CDN prima di concludere qualsiasi cosa. Le richieste rifiutate al 'bordo' non raggiungono mai la tua origine, quindi un log di origine vuoto appare identico sia che tu sia bloccato o semplicemente non sia stato scoperto. Questi richiedono soluzioni opposte.
- Posso fidarmi della stringa user-agent?
- No — è auto-dichiarata e comunemente falsificata, precisamente perché i nomi dei crawler affidabili vengono inseriti nella lista bianca (allowlist). Verifica rispetto agli intervalli IP pubblicati dall'operatore o tramite DNS inverso sull'indirizzo richiedente prima di prendere una decisione basata sul volume.
- Il traffico di ChatGPT-User significa che qualcuno sta acquistando?
- Significa che qualcuno ha posto una domanda a un assistente che lo ha portato a recuperare la tua pagina per loro, in quel momento. È la cosa più vicina a un segnale di intento live in tutta questa categoria, e vale la pena separarlo dal traffico di indicizzazione in qualsiasi report tu costruisca.