Commerce agentique
Quelle est la différence entre llms.txt et robots.txt ?
Mis à jour le
robots.txt indique quels crawlers peuvent récupérer quels chemins ; c'est un fichier de permissions que les crawlers bienveillants respectent volontairement. llms.txt offre un résumé de ce qu'est un site et quelle URL répond à quelle question ; il n'accorde ni ne refuse rien. Supprimer robots.txt modifie ce que les crawlers sont autorisés à faire. Supprimer llms.txt ne modifie que ce qui leur est fourni comme raccourci. Aucun des deux fichiers n'impose quoi que ce soit — l'application se fait à votre périphérie.
La distinction en une ligne chacun
On les confond constamment parce qu'ils partagent un emplacement et une extension de fichier, et la conséquence pratique de cette confusion est que les équipes croient avoir défini une politique alors qu'elles ont rédigé un résumé.
| robots.txt | llms.txt | |
|---|---|---|
| Objectif | Permissions | Orientation |
| Format | Directives | Markdown |
| Standardisé | Oui, établi de longue date | Une proposition, largement adoptée |
| Respecté par | Crawlers bienveillants | Non confirmé |
| Affecte le crawling | Oui | Non |
| Impose quoi que ce soit | Non | Non |
Aucun des deux n'est une mesure d'application
C'est le point que la plupart des guides ignorent. Les deux fichiers sont des requêtes. Un crawler qui ignore robots.txt récupère vos pages de toute façon, et rien dans aucun des deux fichiers ne l'arrête.
La véritable application se fait à la périphérie : règles WAF, limites de débit, gestion des bots. Cette distinction n'est pas académique. Lorsque nous avons interrogé des marques DTC, les sites qui ont refusé nos requêtes l'ont fait à la périphérie alors que leur robots.txt permettait tout — donc un audit du fichier seul aurait rapporté l'opposé de ce qui s'est réellement passé.
Lequel maîtriser en premier
robots.txt, sans hésitation. C'est le fichier qui a des conséquences : un 'disallow' imprudent peut vous retirer entièrement des moteurs de réponse, et les crawlers qu'il régit sont nommés, documentés et séparables en classes d'entraînement, de moteur de réponse et d'agents en direct qui méritent des réponses différentes.
llms.txt peut être généré ensuite en un après-midi. L'ordre découle de l'asymétrie — un fichier peut vous coûter de la visibilité, l'autre peut au mieux offrir un raccourci à un lecteur.
Questions fréquentes
- llms.txt peut-il bloquer les crawlers d'IA ?
- Non. Il n'a pas de syntaxe de directive et pas de sémantique de permission. Le blocage est exprimé dans robots.txt pour les crawlers qui le respectent, et appliqué à votre périphérie pour ceux qui ne le font pas.
- Ai-je besoin des deux ?
- Vous avez besoin de robots.txt, et vous devriez savoir ce qu'il dit actuellement. llms.txt est facultatif et peu coûteux ; ajoutez-le une fois que le fichier de permissions est délibéré plutôt qu'hérité.
- robots.txt a-t-il besoin d'une règle distincte pour chaque crawler d'IA ?
- Il a besoin d'autant de règles que vous avez d'intentions distinctes. Les crawlers d'entraînement, les crawlers de moteur de réponse et les agents en direct récupérant des informations au nom d'un utilisateur sont trois choses différentes, et la plupart des sites veulent des réponses différentes pour chacun.
Sources
- Index des crawlers d'IA DTC — 147 marques, collecté le 14 août 2026 — PlatformDTC (primary data)
- Le fichier /llms.txt — proposition et spécification — llmstxt.org (primary specification)