Commerce agentique
Comment vérifier si les robots d'exploration IA visitent votre site ?
Mis à jour le
Recherchez (grep) dans vos journaux d'accès les chaînes user-agent des trois classes de robots d'exploration et comptez-les séparément : robots d'exploration d'entraînement (GPTBot, ClaudeBot, CCBot, Bytespider), moteurs de réponse (OAI-SearchBot, PerplexityBot, Claude-SearchBot) et requêtes d'agents en direct (ChatGPT-User, Perplexity-User). Voir zéro requête de moteur de réponse sur une semaine est la découverte qui compte — cela signifie presque toujours qu'une règle CDN ou WAF les refuse avant même que votre origine n'enregistre la requête.
Ce qu'il faut rechercher (grep)
Comptez les trois classes séparément. Un total unique ne vous dit rien d'utile, car les classes ont des implications opposées : les explorations d'entraînement sont neutres, les explorations des moteurs de réponse sont la façon dont vous êtes mis en avant, et les requêtes d'agents en direct signifient qu'une personne pose des questions sur vous en ce moment.
- Entraînement : GPTBot, ClaudeBot, CCBot, Bytespider, Google-Extended, Applebot-Extended, meta-externalagent
- Moteurs de réponse : OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot
- Requêtes d'agents en direct : ChatGPT-User, Perplexity-User
Où chercher, par ordre d'utilité
Votre journal d'accès d'origine est l'endroit évident et le moins fiable, car tout ce qui est bloqué en périphérie ne l'atteint jamais. Vérifiez d'abord le journal CDN si vous en avez un — Cloudflare, Fastly, CloudFront et Akamai exposent tous des journaux de requêtes avec user-agent, et surtout, ils montrent les requêtes qui ont été refusées ainsi que celles qui ont été servies.
Cette différence est tout l'intérêt de l'exercice. Un journal d'origine ne montrant aucun trafic OAI-SearchBot et un journal CDN montrant OAI-SearchBot recevant des 403 décrivent des problèmes complètement différents, et seul le second est exploitable par vous.
Lecture du résultat
Trois schémas, trois conclusions.
| Ce que vous voyez | Ce que cela signifie | Ce qu'il faut faire |
|---|---|---|
| Moteurs de réponse en exploration, 200 | Vous êtes joignable. Que vous soyez cité dépend de votre contenu et de la lisibilité par les machines. | Vérifiez ce qu'ils peuvent réellement analyser — le prix et la disponibilité en HTML brut. |
| Moteurs de réponse recevant 403 ou 429 | Une règle de gestion des bots les refuse. C'est le cas courant et c'est invisible dans robots.txt. | Mettez-les sur liste blanche au niveau du CDN. Rien d'autre que vous ferez n'aura d'importance tant que cela ne sera pas corrigé. |
| Aucune requête de moteur de réponse du tout | Soit ils ont été refusés avant que votre origine n'enregistre quoi que ce soit, soit le site n'est pas encore dans leur frontière d'exploration. | Vérifiez le journal CDN. Si c'est propre là aussi, le problème est la découverte — sitemap, liens, indexation. |
Vérifiez plutôt que de faire confiance au user-agent
Une chaîne user-agent est auto-déclarée et facilement falsifiable, donc un journal rempli de requêtes "GPTBot" n'est pas une preuve qu'OpenAI a visité. Les scrapeurs usurpent l'identité de robots d'exploration réputés précisément parce que de nombreux sites les mettent sur liste blanche.
Les opérateurs publient les plages d'adresses IP de leurs robots d'exploration, et une recherche DNS inversée sur l'IP de la requête est la vérification standard. Cela est le plus important lorsque vous décidez si la charge d'exploration justifie un blocage : limiter un GPTBot falsifié est acceptable, et limiter le vrai est une décision politique que vous devriez prendre délibérément.
L'autre moitié du tableau
L'analyse des journaux vous indique si les robots d'exploration peuvent vous atteindre. Elle ne vous dit pas si ce qu'ils ont trouvé était analysable — et le second écart est plus important à l'échelle de l'industrie. Adobe a mesuré que les pages de produits de détail obtenaient un score de 66 % en lisibilité par les machines, le plus bas de tous les types de pages.
Notre vérificateur gratuit couvre cette moitié : il récupère une page sans exécution de JavaScript et rapporte ce qu'un agent peut réellement lire, et il lit votre robots.txt et rapporte les trois classes de robots d'exploration séparément. Il ne peut pas voir vos règles CDN — rien d'externe ne le peut, c'est pourquoi la vérification des journaux ci-dessus vaut la peine d'être faite manuellement.
Questions fréquentes
- À quelle fréquence les robots d'exploration IA devraient-ils visiter ?
- Il n'y a pas de référence qui vaille la peine d'être citée, car cela varie énormément avec la taille du site, la fréquence des mises à jour et l'autorité existante. Le signal sur lequel agir n'est pas le taux mais les codes de statut : les requêtes des moteurs de réponse recevant des 403 sont un problème quel que soit le volume, et zéro requête sur une semaine mérite d'être étudiée.
- Je ne vois aucun trafic de robot d'exploration IA du tout. Mon site est-il bloqué ?
- Vérifiez le journal CDN avant de conclure quoi que ce soit. Les requêtes refusées en périphérie n'atteignent jamais votre origine, donc un journal d'origine vide est identique, que vous soyez bloqué ou simplement non découvert. Ces situations nécessitent des corrections opposées.
- Puis-je faire confiance à la chaîne user-agent ?
- Non — elle est auto-déclarée et couramment falsifiée, précisément parce que les noms de robots d'exploration réputés sont mis sur liste blanche. Vérifiez par rapport aux plages d'adresses IP publiées par l'opérateur ou par DNS inversé sur l'adresse de la requête avant de prendre une décision basée sur le volume.
- Le trafic ChatGPT-User signifie-t-il que quelqu'un achète ?
- Cela signifie que quelqu'un a posé une question à un assistant, ce qui l'a amené à récupérer votre page pour cette personne, à ce moment-là. C'est ce qui se rapproche le plus d'un signal d'intention en direct dans toute cette catégorie, et il est utile de le séparer du trafic d'indexation dans tout rapport que vous construisez.