智能体电商
llms.txt 和 robots.txt 有什么区别？
更新于
robots.txt 规定哪些爬虫可以抓取哪些路径；它是一个权限文件，守规矩的爬虫会自愿遵守。llms.txt 提供站点是什么、哪个 URL 回答哪个问题的摘要；它不授予也不保留任何权限。删除 robots.txt 会改变爬虫被允许做什么。删除 llms.txt 只会改变作为快捷方式交给它们的内容。两者都不强制执行任何内容——强制执行发生在你的边缘层。
两者的区别各用一句话说明
它们经常被混淆，因为二者共享同一位置和文件扩展名；混淆它们的实际后果是，团队以为自己设定了策略，其实只是写了一份摘要。
| robots.txt | llms.txt | |
|---|---|---|
| 用途 | 权限 | 定位 |
| 格式 | 指令 | Markdown |
| 标准化 | 是，长期确立 | 一项提案，已被广泛采用 |
| 遵守方 | 守规矩的爬虫 | 未确认 |
| 影响抓取 | 是 | 否 |
| 强制执行任何内容 | 否 | 否 |
两者都不是强制执行
这是大多数指南会跳过的一点。两个文件都是请求。忽略 robots.txt 的爬虫照样会抓取你的页面，而两个文件里都没有任何内容能阻止它。
真正的强制执行发生在边缘：WAF 规则、速率限制、机器人管理。这个区别并非纸上谈兵。当我们调查 DTC 品牌时，那些拒绝我们请求的站点是在边缘层拒绝的，而它们的 robots.txt 却允许一切——所以只审计该文件会报告出与实际发生情况相反的结果。
应该先搞定哪一个
robots.txt，毫不犹豫。它是会产生后果的文件：一个不小心的 disallow 就可能让你完全从答案引擎中消失，而它管理的爬虫有名称、有文档记录，并且可以分成训练、答案引擎和实时代理等类别，这些类别值得区别对待。
llms.txt 之后可以花一个下午生成。这个先后顺序来自二者的不对称性——一个文件可能让你损失可见性，另一个最多只能给读者一个快捷方式。
常见问题
- llms.txt 能阻止 AI 爬虫吗？
- 不能。它没有指令语法，也没有权限语义。对于遵守 robots.txt 的爬虫，阻止是在 robots.txt 中表达的；对于不遵守的爬虫，则要在你的边缘层强制执行。
- 两者都需要吗？
- 你需要 robots.txt，而且应该知道它目前写了什么。llms.txt 是可选的，成本也低；等权限文件是有意制定而非继承而来时，再添加它。
- robots.txt 需要为每个 AI 爬虫单独设置规则吗？
- 它需要多少条规则，取决于你有多少种不同的意图。训练爬虫、答案引擎爬虫和代表用户抓取的实时代理是三件不同的事，而大多数站点希望针对每一种给出不同的答案。
来源
- DTC AI 爬虫索引 — 147 个品牌，收集于 14 August 2026 — PlatformDTC (primary data)
- /llms.txt 文件 — 提案与规范 — llmstxt.org (primary specification)