Commerce agentique
Un site e-commerce devrait-il bloquer les robots d'IA dans robots.txt ?
Mis à jour le
Bloquez les robots d'entraînement de modèles si vous le souhaitez ; cela ne coûte rien en termes de classement de recherche ou de visibilité dans les réponses d'IA. Ne bloquez pas les robots des moteurs de réponse tels que OAI-SearchBot, PerplexityBot et Claude-SearchBot, ni les requêtes d'agents en direct comme ChatGPT-User — ce sont eux qui vous placent dans les réponses d'IA et génèrent du trafic de référence. La distinction est importante car environ un quart des sites e-commerce et B2B SaaS bloquent involontairement les principaux robots LLM, souvent au niveau du CDN plutôt que dans robots.txt.
La plupart des conseils à ce sujet sont écrits pour les éditeurs
L'argument en faveur du blocage des robots d'IA a été formulé par et pour les éditeurs, et en soi, c'est un argument solide : si votre produit est le texte, un modèle entraîné sur ce texte vous fait concurrence, et vous cédez gratuitement votre contenu.
Un commerçant est dans la position inverse. Votre produit est un produit. Le texte de votre site existe pour le vendre. Bloquer les robots qui feraient apparaître ce produit à un acheteur ayant décrit exactement ce qu'il voulait, ce n'est pas protéger un actif — c'est refuser un canal pour protéger une page de vente.
C'est pourquoi appliquer les conseils des éditeurs à un magasin produit systématiquement la mauvaise réponse, et pourquoi la question à poser n'est pas « bloquer ou autoriser » mais « lequel des trois, et pourquoi ».
Trois types de robots, trois compromis différents
« Robot d'IA » désigne trois choses distinctes. Ils proviennent des mêmes entreprises, parfois via la même infrastructure, et ils attendent de vous des choses complètement différentes.
- Les noms sont délibérément prêtant à confusion : GPTBot entraîne, OAI-SearchBot indexe pour les réponses, ChatGPT-User est l'assistant d'une personne qui récupère votre page. Tous les trois sont d'OpenAI.
- Une règle écrite pour bloquer « OpenAI » qui capture les trois est la manière la plus courante pour un commerçant de perdre sa visibilité dans l'IA sans le vouloir.
| Classe | Exemples | Ce qu'il fait | Coût du blocage |
|---|---|---|---|
| Entraînement de modèles | GPTBot, ClaudeBot, CCBot, Google-Extended | Collecte du contenu pour les corpus d'entraînement | Aucun impact sur votre classement ou votre visibilité dans l'IA. Un choix commercial légitime. |
| Moteur de réponse | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Construit l'index à partir duquel les assistants répondent | Vous retire des réponses d'IA. C'est le plus coûteux. |
| Agent en direct | ChatGPT-User, Perplexity-User | Récupère votre page en ce moment même, pour un acheteur spécifique. | Bloque un vrai client en plein milieu d'un achat. Jamais correct pour un commerçant. |
L'erreur est généralement accidentelle, et généralement pas dans robots.txt.
Environ un quart des sites B2B SaaS et e-commerce bloquent les principaux robots LLM sans le vouloir. L'exemple le plus fréquemment cité est OAI-SearchBot, et il est également parmi ceux qui ont le plus d'impact.
La raison pour laquelle cela passe inaperçu est que ce n'est fréquemment pas du tout dans robots.txt. Il s'agit d'une règle de gestion des bots au niveau du CDN, activée par défaut de manière sensée par quelqu'un protégeant l'origine des scrapers, des mois avant que quiconque ne pense au trafic de référence de l'IA. Personne n'édite un fichier, donc personne ne se souvient l'avoir fait.
Cela vaut la peine d'être vérifié directement plutôt que de supposer, car l'échec est complètement silencieux : il n'y a pas d'erreur, pas de baisse dans un tableau de bord que vous surveillez déjà, juste une absence d'un canal que vous ne pouvez pas voir.
Une politique réellement défendable
La version que la plupart des commerçants devraient adopter, énoncée comme des règles plutôt que des principes.
- Autorisez les robots des moteurs de réponse sans condition. OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot. Ce sont eux qui constituent le canal.
- Autorisez les requêtes d'agents en direct sans condition. ChatGPT-User et Perplexity-User sont un client, arrivant avec une intention, par une porte d'entrée différente.
- Décidez délibérément pour les robots d'entraînement. GPTBot, ClaudeBot, CCBot, Google-Extended. Les bloquer n'entraîne aucun coût de classement ; les autoriser peut aider les modèles à savoir que votre marque existe. L'une ou l'autre réponse est défendable — une réponse accidentelle ne l'est pas.
- Nommez les agents individuellement plutôt que de vous fier à un caractère générique. Une règle trop large est la façon dont les trois classes sont confondues.
- Vérifiez le CDN ainsi que robots.txt. C'est là que se trouvent les blocages accidentels.
- N'oubliez pas que robots.txt est volontaire. Il est respecté par les entreprises dont vous souhaitez le trafic et ignoré par les scrapers qui vous inquiètent, c'est donc un mauvais outil pour le problème d'abus et un outil précis pour le problème de visibilité.
Ce que le blocage ne résout pas
Si la véritable préoccupation est la charge de scraping ou la collecte de prix, robots.txt est le mauvais instrument — les opérateurs à l'origine de ce problème ne le lisent pas. La limitation de débit, la gestion des bots et l'authentification sont les outils qui fonctionnent dans ce cas, et ils peuvent être appliqués sans toucher aux robots qui vous apportent de la demande.
Et la contrainte sur les revenus générés par les agents pour la plupart des commerçants n'est pas du tout l'accès. Adobe a mesuré que les pages de produits de détail obtenaient un score de 66 % en lisibilité machine, le plus bas de tous les types de pages, tandis que le trafic provenant de l'IA vers ces sites a augmenté de 393 % d'une année sur l'autre. Beaucoup plus de commerçants sont invisibles parce que leur prix n'existe qu'après l'exécution de JavaScript que parce qu'ils ont bloqué qui que ce soit.
Vous pouvez vérifier les deux à la fois : notre vérificateur gratuit récupère votre page sans JavaScript, et lit votre robots.txt pour signaler laquelle des trois classes de robots vous bloquez réellement.
Questions fréquentes
- Le blocage de GPTBot nuit-il à mon classement Google ?
- Non. GPTBot est un robot d'entraînement de modèles et n'a aucune incidence sur le classement de recherche Google ni sur votre apparition dans les réponses d'IA. Le robot qui détermine la visibilité des réponses d'IA est OAI-SearchBot, qui est un agent différent avec un nom différent.
- Quelle est la différence entre GPTBot, OAI-SearchBot et ChatGPT-User ?
- Tous les trois sont d'OpenAI et ils effectuent des tâches différentes. GPTBot collecte du contenu pour l'entraînement de modèles. OAI-SearchBot construit l'index de recherche à partir duquel ChatGPT répond. ChatGPT-User est une requête en direct au nom d'une personne spécifique qui pose des questions sur vous en ce moment même. Un commerçant souhaite généralement bloquer au maximum le premier.
- Comment vérifier si je bloque les robots d'IA ?
- Lisez votre robots.txt, puis vérifiez les règles de gestion des bots de votre CDN ou WAF — ce deuxième endroit est celui où se trouvent la plupart des blocages accidentels et où personne ne pense à regarder. Notre vérificateur gratuit de préparation des agents lit robots.txt pour vous et signale les trois classes séparément.
- Le blocage des robots d'IA empêchera-t-il le scraping de mon contenu ?
- Non. robots.txt est volontaire : il est respecté par les grandes entreprises d'IA — celles qui vous apportent du trafic de référence — et ignoré par les scrapers qui vous inquiètent réellement. Il vous coûte de manière fiable la visibilité et empêche de manière peu fiable le scraping.
- Y a-t-il un cas où un commerçant devrait bloquer les moteurs de réponse ?
- Très peu. Peut-être une marque sous un accord d'exclusivité, ou dont le catalogue est réellement confidentiel. Pour un magasin ordinaire, cela signifie se retirer d'un canal où les visiteurs référencés ont été mesurés comme convertissant mieux que le trafic non-IA, en échange de la protection d'un contenu écrit pour être lu.