Commerce agentique
Quelle est la différence entre GPTBot, OAI-SearchBot et ChatGPT-User ?
Mis à jour le
Ce sont trois agents OpenAI qui effectuent des tâches différentes. GPTBot collecte du contenu pour l'entraînement des modèles — le bloquer n'a aucun coût en termes de classement de recherche ou de visibilité dans les réponses de l'IA. OAI-SearchBot construit l'index de recherche à partir duquel ChatGPT répond — le bloquer vous retire des réponses de l'IA. ChatGPT-User est une récupération en direct effectuée au nom d'une personne spécifique qui pose des questions sur vous en ce moment — le bloquer éloigne un client en pleine question. Un commerçant ne devrait bloquer que le premier, au maximum.
Les noms sont le problème
Tous les trois appartiennent à OpenAI, tous les trois apparaissent dans vos journaux comme du trafic OpenAI, et leurs noms ne donnent presque aucune indication sur lequel est lequel. Ce n'est pas tant une critique de la nomenclature qu'une explication de la raison pour laquelle l'erreur la plus coûteuse dans ce domaine est un accident plutôt qu'une décision.
Une règle écrite pour « bloquer OpenAI » — ce qui est intuitif à écrire — capture les trois. L'intention est généralement de refuser l'entraînement des modèles. L'effet inclut le refus des résultats de recherche ChatGPT et le refus des recherches clients en direct.
| User-agent | Ce qu'il fait | Ce que son blocage vous coûte |
|---|---|---|
| GPTBot | Explore le contenu pour les corpus d'entraînement des futurs modèles | Rien en termes de classement ou de visibilité dans les réponses de l'IA. Un choix commercial légitime. |
| OAI-SearchBot | Construit l'index à partir duquel ChatGPT fournit les réponses de recherche | Votre présence dans les réponses de ChatGPT. C'est celui qui coûte cher. |
| ChatGPT-User | Récupère une page en direct parce qu'un utilisateur spécifique l'a demandée | Une personne réelle, en pleine question, qui était dirigée vers vous. |
Pourquoi bloquer GPTBot est réellement gratuit
Cela surprend les gens, il est donc utile d'être explicite. Les crawlers d'entraînement n'ont aucune incidence sur le classement de recherche Google — Google n'utilise pas l'exploration d'OpenAI — et aucune incidence sur le fait que ChatGPT vous affiche dans les résultats de recherche, car cela provient d'un index différent construit par un agent différent.
Ce que vous perdez en bloquant GPTBot est plus difficile à mesurer : les futurs modèles pourraient en savoir moins sur votre marque en ayant lu moins de contenu. Que cela importe dépend de si vous préférez être décrit à partir de vos propres mots ou de la couverture par des tiers. Les deux sont défendables. Aucun ne vous coûte un classement.
Un robots.txt qui reflète l'intention réelle
Si votre intention est de « ne pas entraîner sur mon contenu, mais de m'afficher », les règles qui l'expriment nomment chaque agent explicitement plutôt que de s'appuyer sur un modèle.
- Interdisez GPTBot si vous souhaitez refuser l'entraînement. Considérez également CCBot, Bytespider, Google-Extended et Applebot-Extended, qui sont les crawlers d'entraînement équivalents d'autres opérateurs.
- Autorisez OAI-SearchBot, PerplexityBot, Claude-SearchBot et DuckAssistBot. Ce sont les moteurs de réponse.
- Autorisez ChatGPT-User et Perplexity-User. Ce sont des récupérations en direct effectuées au nom d'une personne.
- Ne vous fiez pas à une règle générique pour exprimer tout cela. Un `User-agent: *` disallow que vous destiniez aux scrapers s'appliquera à tous les éléments ci-dessus.
- Faites attention aux lignes User-agent consécutives. Plusieurs agents listés ensemble avant un Disallow partagent cette règle — c'est ainsi que GPTBot et OAI-SearchBot finissent par être bloqués par une ligne que quelqu'un a écrite pour l'un d'eux.
Vérifiez le CDN, pas seulement le fichier
La règle que vous pouvez lire est rarement l'endroit où le blocage se trouve. Lorsque nous avons vérifié trente marques DTC bien connues, aucune n'a bloqué les moteurs de réponse dans robots.txt — mais quatre ont refusé un crawler identifié directement avec un 403 ou 429, et trois n'ont pas réussi à se connecter du tout.
Cette décision se trouve dans un ensemble de règles de gestion des bots au niveau du CDN ou du WAF, généralement ajouté par quelqu'un protégeant l'origine des scrapers bien avant que le trafic de référence de l'IA ne soit une considération. Elle n'apparaît dans aucun audit robots.txt, et la personne qui remarquerait le trafic manquant n'a aucune visibilité sur la console où elle a été configurée.
La question à poser à quiconque administre votre périphérie est spécifique et a une réponse définitive : OAI-SearchBot, PerplexityBot et ChatGPT-User sont-ils sur la liste blanche ?
Questions fréquentes
- Le blocage de GPTBot nuit-il à mon SEO ?
- Non. GPTBot est un crawler d'entraînement de modèles et n'a aucun effet sur le classement de recherche Google ni sur le fait que ChatGPT vous affiche dans les résultats de recherche. Ceux-ci proviennent respectivement de Googlebot et OAI-SearchBot — des agents entièrement différents.
- Si je bloque GPTBot, ChatGPT trouvera-t-il toujours mes produits ?
- Oui, à condition que OAI-SearchBot et ChatGPT-User soient autorisés. La recherche ChatGPT est construite à partir d'un index séparé et de récupérations en direct, dont aucune ne dépend des explorations d'entraînement.
- Lequel apparaît quand quelqu'un interroge ChatGPT sur ma marque ?
- Généralement ChatGPT-User, qui récupère votre page en direct pour cette question spécifique, et OAI-SearchBot pour ce qui était déjà indexé. Si vous voyez ChatGPT-User dans vos journaux, une personne réelle pose des questions sur vous à ce moment-là.
- Existe-t-il une séparation équivalente pour d'autres entreprises d'IA ?
- Oui, et cela suit le même schéma. Anthropic utilise ClaudeBot pour l'entraînement et Claude-SearchBot pour la recherche ; Perplexity utilise PerplexityBot pour l'indexation et Perplexity-User pour les récupérations en direct ; Google sépare Google-Extended (entraînement) de Googlebot ordinaire. Le modèle est suffisamment cohérent pour élaborer une politique.