电商商店应该在robots.txt中阻止AI爬虫吗？

关于这方面的多数建议是为出版商撰写的

阻止AI爬虫的理由是由出版商提出并为出版商服务的，从其自身角度来看，这是一个强有力的理由：如果你的产品是文本，那么基于该文本训练的模型会与你竞争，而你却免费提供了这些内容。

商家处于相反的境地。你的产品就是商品本身。你网站上的文本是为了销售商品而存在的。阻止那些能将你的产品展示给准确描述其需求的购物者的爬虫，并不是在保护资产——而是在为了保护一个销售页面而放弃一个渠道。

这就是为什么将出版商的建议应用于商店总是会得出错误的答案，以及为什么值得提出的问题不是“阻止还是允许”，而是“阻止或允许哪三种，以及为了什么”。

三种爬虫，三种不同的权衡

“AI爬虫”指的是三种不同的事物。它们来自同一家公司，有时通过相同的底层设施，但它们对你的需求完全不同。

• 这些名称故意令人混淆：GPTBot用于训练，OAI-SearchBot为答案建立索引，ChatGPT-User是某个人的助手在抓取你的页面。这三者都来自OpenAI。
• 一条旨在阻止“OpenAI”并涵盖这三者的规则，是商家无意中失去AI可见性的最常见方式。

这个错误通常是无意的，并且通常不在robots.txt中

大约四分之一的B2B SaaS和电商网站无意中阻止了主要的LLM爬虫。最常被提及的例子是OAI-SearchBot，它也是影响最大的之一。

它之所以未被注意到，是因为它通常根本不在robots.txt中。它是在CDN上的一条机器人管理规则，由某个保护源站免受抓取的人作为听起来合理的默认设置启用，而这发生在人们考虑AI推荐流量的几个月前。没有人编辑过文件，所以没有人记得做过这件事。

这一点值得直接检查，而不是假设，因为这种失败是完全无声的：没有错误，你关注的仪表盘上也没有下降，只是你无法看到的渠道中缺少了它。

一项真正站得住脚的策略

大多数商家应该采纳的版本，以规则而非原则的形式阐述。

• 无条件允许问答引擎爬虫。OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot。这些是渠道。
• 无条件允许实时代理抓取。ChatGPT-User和Perplexity-User是带着意图通过不同入口抵达的顾客。
• 有意决定是否阻止训练爬虫。GPTBot、ClaudeBot、CCBot、Google-Extended。阻止它们没有排名成本；允许它们可能有助于模型了解你的品牌存在。任何一种选择都是站得住脚的——无意的选择则不然。
• 单独命名代理，而不是依赖通配符。宽泛的规则是导致这三类混淆的原因。
• 检查CDN以及robots.txt。那里是意外阻止发生的地方。
• 请记住robots.txt是自愿遵守的。它受到你希望获得流量的公司尊重，却被你担心的抓取者忽略，因此，它对于滥用问题来说是一个糟糕的工具，但对于可见性问题来说却是一个精确的工具。

阻止无法解决的问题

如果实际担忧是抓取负载或价格收集，robots.txt是错误的工具——造成这些问题的操作者不会读取它。速率限制、机器人管理和身份验证是有效的工具，并且可以在不影响为你带来需求的爬虫的情况下应用它们。

对于大多数商家而言，代理来源收入的限制根本不是访问权限。Adobe测量发现零售商品页面的机器可读性得分仅为66%，是所有页面类型中最低的，而这些网站的AI来源流量同比增长了393%。更多的商家之所以不可见，是因为他们的价格只有在JavaScript运行后才显示，而不是因为他们阻止了任何人。

你可以同时检查这两点：我们的免费检查器在没有JavaScript的情况下抓取你的页面，并读取你的robots.txt，报告你实际阻止了哪三类爬虫。