增量性

反事实是核心理念

每个增量性问题都归结为一项比较：实际发生了什么，以及如果你没有开展该活动会发生什么。这句话的后半部分是无法观察到的。没有人能两次观察同一周，因此反事实总是需要从一群人、市场或时间段中构建，这些群体代表了没有投放广告的业务版本。

归因从不尝试这样做。它观察已发生的转化，并根据规则（如末次点击、数据驱动、基于位置）在其可见的触点之间分配功劳。这些规则中的每一个都分配100%的功劳，因为如果一个规则得出“这些触点都没有引起它”的结论，那它看起来就是有问题的。因此，归因回答的是“谁接触了此订单”，并常被解读为“什么导致了此订单”的答案，而这是一个不同的问题，通常会有不同的答案。

最清晰的例子是品牌搜索和再营销。两者几乎只展示给已经做出决定的人群，都报告出色的归因回报，并且都可能几乎完全没有增量性——这些转化本可以通过自然搜索结果或直接访问而发生。关闭它们是唯一能找出真相的方法，而很少有品牌知道这一点的原因是，关闭它们意味着眼睁睁看着归因ROAS数字崩溃，而业务本身却并未受损。

产生因果答案的测试

它们在对照组的构建方式和运行测试的成本上有所不同。下面的排名大致按证据强度排列，而证据强度在每种情况下都是以放弃的收入为代价换取的。

为什么公益广告或幽灵广告对照组优于“我们未定位的人群”

朴素的对照组是活动未触达的所有人。这几乎总是错误的，因为广告平台选择向其展示广告的人群，正是因其转化可能性高而被选中的。将他们与平台拒绝展示广告的人群进行比较，相当于将高意向群体与低意向群体进行比较，并将预先存在的差异解读为广告带来的提升。

公益广告测试通过对两组运行相同的定位和相同的竞价，并替换创意来解决这个问题——对照组看到的是不相关的公益广告。幽灵竞价则更进一步，记录了对照组本会赢得但未投放任何内容的竞价。在这两种情况下，对照组都是平台实际选择的人群，这也是你的实验组唯一可比较的人群。

地理测试以不同的方式规避了这个问题：市场在平台选择任何人之前就被分配好，因此选择过程在两个组中是相同的。代价是市场比个体更嘈杂，且数量少得多，这就是为什么地理设计需要匹配对和预测试期，以确保两组在此期间已经保持一致。

提升数字能让你得出什么结论，不能让你得出什么结论

举个例子。一项地理测试在40个匹配市场中运行，其中20个为实验组，20个为对照组。预测试期显示两组各自的收入均为$900,000，这使得它们可以作为匹配对使用。在测试期间，实验组市场的收入为$1,200,000，对照组市场为$1,000,000。增量收入为$200,000。实验组支出为$80,000，因此增量ROAS为2.5，而平台报告的相同活动的ROAS为5.0。

该结果只允许得出一个结论：在那个支出水平、那些市场、那个时期、使用那个创意的情况下，该活动每投入一美元带来了$2.50的收入。在45%的贡献毛利率下，盈亏平衡点是2.22，因此它勉强达到了——险胜。它不允许得出该渠道在两倍支出下仍能带来2.5回报的结论，因为回报会递减；在$160,000支出水平下的边际美元是一个不同的美元，必须单独衡量。

无效结果是所有结果中最容易被误读的。“没有显著提升”通常意味着测试无法检测到你所寻找的效应大小，而不是效应为零。在运行任何测试之前，请决定什么样的提升会改变你的决策，并诚实地评估所设计的测试是否能检测到它——一个占总支出10%且运行两周的渠道通常是无法检测到的。

并且提升数字会过期。它是在某一时刻对市场、创意组合和竞争性竞价的衡量。将其视为保质期为一两个季度的证据，而不是可以放入模型并长期不变的常数。

DTC品牌实际所需的最低限度

大多数品牌在开始时不需要测量供应商，而那些首先购买的品牌通常无法根据其输出采取行动。下面的阶梯按成本排序，只有当下一级阶梯无法回答问题时，才值得攀登当前这一级。

• 持续追踪边际MER。每一次有意的支出变化都是一次免费的、弱实验：用收入变化除以支出变化，并将其与盈亏平衡点而非混合比率进行比较。
• 首先进行品牌搜索测试。这是大多数品牌可用的最便宜且有意义的对照组测试，效果规模通常很大，结果通常能立即释放预算。
• 对于最大的渠道，升级到地理区域对照组测试。在匹配的市场中暂停广告投放，这些市场应覆盖足够大的量以检测你关心的效果，运行至少一个完整的购买周期加上归因窗口，并在相信测试期内的任何结果之前，检查两个组在前期是否保持一致。
• 将平台运行的提升研究视为一项健全性检查，绝不能作为决定性证据。平台设计测试、选择对照组并评估结果。
• 接受这个限制：如果你不能容忍在几周内关闭相当一部分支出，你就无法衡量增量。没有免费的版本，任何声称免费的方法都是建模而非测量。