智能体电商
llms.txt
llms.txt 是一种惯例，它在网站根目录放置一个 Markdown 文件，总结网站是什么以及哪个 URL 回答哪个问题，这样助手就不必抓取所有内容。
主要助手是否会使用它，目前仍未真正确定。确定的是其采用情况：我们检查了 58 个知名 DTC 品牌，其中 73% 可访问的品牌已经发布了这样的文件——但其中 70% 并非手动编写，因为 Shopify 会自动生成一个模板文件。因此，发布这样的文件是基本要求，而非竞争优势。
这将有用的问题从“是否应该拥有一个”转变为“默认文件是否能描述你”。一个生成的 4.3KB 文件描述的是一个通用商店；它不知道哪些产品是重要的，你的买家会问哪些问题，或者你与发布几乎相同文件的其他二十二个品牌有何不同。
决定它是否有价值的唯一规则是：生成它，不要手动编写。手动维护的索引在两次部署后就会过时，而过时的索引比没有更糟，因为它会自信地指向已移动的页面。
现在有证据表明这条规则不仅仅是因为过时。在我们发现接受代理结账的商店中，有几家发布了手动编写的文件，但从未提及他们自己的商店响应的端点——因此，一个细致的团队编写的文件反而隐藏了生成文件会宣布的功能。在替换之前，请阅读该路径下的内容。
文件长什么样
该提案描述的是一个 Markdown 文档，而不是一种需要学习的新语法。它以一个一级标题开头，包含网站或项目名称，接着是一个简短的引用块，说明网站是什么——这是读者在没有其他上下文时所需的一段话。之后可以跟上普通散文。
在此之下是二级部分，每个部分都包含一个链接列表，每个链接都附有简短说明：说明该页面是什么，以及何时是正确的页面。一个通常用于可选材料的部分会标记出在需要更短上下文时可以跳过的链接，这是该格式本身唯一提供的优先级。
一个配套惯例是在单独的路径放置一个扩展文件，该文件包含内容本身，而不是链接索引。这两者服务于不同的需求：一个是为从未见过网站的读者提供方向，另一个是提供不带导航界面的文本。
该格式刻意地不引人注目。关于该惯例的所有重要之处都在于编辑内容——你命名哪些页面以及如何描述它们——因为其中没有其他容易出错的地方。
它在面向机器的文件中的位置
让团队付出代价的困惑并非关于格式，而是关于该文件管理什么。将它与商店为机器发布的其他界面并置，可以使界限变得清晰。
最后一行是全部论点。其中三个有明确的消费者和已定义的结果；第四个两者都没有，这既是发布它的理由，也是不为此投入项目的理由。
| 界面 | 它声明了什么 | 有文档记录的消费者 | 如果出错会怎样 |
|---|---|---|---|
| robots.txt | 哪些爬虫可以抓取哪些路径 | 每个主要爬虫都记录了遵守它 | 一个粗心的禁止指令会让你完全从答案引擎中消失 |
| sitemap.xml | 哪些 URL 存在以及它们何时更改 | 搜索引擎记录了读取它 | 新页面和更改页面的发现缓慢或遗漏 |
| schema.org JSON-LD | 此页面上的事实是什么 | 搜索引擎记录了使用它来获取丰富结果 | 过时的价格或可用性会产生自信的错误答案 |
| llms.txt | 网站是什么以及哪个 URL 回答什么问题 | 没有助手供应商记录了使用它 | 很少——这也是不值得为此付出努力的真实理由 |
它不能做什么
人们经常将三种它不具备的功能归因于此文件，并且每种功能都有其正确的归属。弄错这些，就会让团队在编写摘要时误以为自己制定了策略。
- 它不授予也不限制任何东西。没有指令语法，也没有权限语义，因此它不能阻止爬虫。对于遵守规则的爬虫，权限由 robots.txt 决定，对于不遵守规则的爬虫，则由边缘规则决定。
- 它不能替代结构化数据。URL 索引不会说明它指向的页面上的价格或可用性。事实应存在于页面本身的标记中，从页面渲染的相同来源生成。
- 它不是站点地图。站点地图列举所有 URL 以求完整性；而此文件只选择少数并进行解释。在此处复制站点地图会丢弃该格式唯一提供的东西，即关于什么重要的编辑判断。
在你自己的域名上要检查什么
大多数商店已经提供了一个，而无需任何人决定这样做，因为有几个平台会自动生成它。这使得审计你已有的文件比编写新文件更有用，并且审计只需四个命令，而不是一个项目。
- content-type。一个默默返回 HTML 的路由在浏览器中看起来是正确的，但对机器来说毫无价值——并且在该路径上返回 200 状态码的包罗万象的页面，在任何检查状态码而非内容的调查中，都会被算作采用者。
- 它是否命名了你实际暴露的任何东西。生成的文件有时会列出机器端点，而手动编写的替代文件会默默地删除这些端点，因此在覆盖它之前，请阅读那里的内容。
- 它是否是生成的。手动维护的索引在两次部署后就会过时，而过时的索引比没有更糟，因为它会自信地指向已移动的页面。
- 是否有任何东西请求它。在访问日志中搜索该路径。一个没有人抓取的文件不是紧急情况，但它是关于这个问题唯一可用的直接证据，并且只需一个命令即可获取。
常见问题
- llms.txt 是什么？
- 一个位于网站根目录的 Markdown 文件，总结网站是什么以及哪个 URL 回答哪个问题，这样 AI 系统就可以在不抓取所有内容的情况下进行定位。它是一个社区提案，而不是任何搜索或助手供应商发布的标准，并且它不授予任何类型的权限。
- llms.txt 文件中包含什么？
- 一个包含网站名称的标题，一个简短的引用块，说明网站销售什么以及服务对象，然后是链接部分，每个链接都带有一行描述——包括类别，以及回答实际售前问题（如尺码、运输和退货）的页面。指向站点地图索引以获取完整的 URL 列表，而不是在此处复制它。
- llms.txt 文件放在哪里？
- 放在客户实际输入的域名根目录，以 Markdown 或纯文本形式提供。部署后检查 content-type：一个默默返回 HTML 的路由在浏览器中渲染正常，但对机器来说毫无用处，这是此文件默默失效的最常见方式。
- AI 助手真的会读取 llms.txt 吗？
- 没有助理供应商记录过使用它，并且 Google 公开声明其系统不使用。一些爬虫日志显示路径被请求了，但抓取并不等同于模型使用内容。请将此文件视为廉价且未经证实，而非一种有预期结果的技术。
- llms.txt 和 robots.txt 是一回事吗？
- 不是。robots.txt 说明了哪些爬虫可以抓取哪些路径，并且被行为良好的爬虫自愿遵守。llms.txt 提供了一个摘要，但不授予任何权限。删除 robots.txt 会改变爬虫被允许做的事情；删除 llms.txt 只会改变它们作为快捷方式获得的内容。
- llms-full.txt 是什么？
- 一种配套约定：它不是一个链接索引，而是一个包含扩展内容本身的单一文件，这样系统就可以读取这些材料，而无需抓取多个页面并从每个页面中剥离导航信息。它在设计上要大得多，并且满足了与索引文件不同的需求。
深入了解：llms.txt 真的有效吗？