增量性测试：定义与工作原理

增量性测试是一种受控实验，用于估算广告渠道所报告的转化活动中，实际由广告带来的部分，而不是依赖平台跟踪归因给广告的转化。你阻止一组用户或地区看到特定渠道的广告，然后将结果与看到广告的组进行比较。设计良好的测试会将两组之间的差距解读为该渠道在该受众、时段和设置下的增量效应的估计值，并连同其不确定性一并报告；对照组中仍然发生的那些结果，就是没有广告时也会发生的结果。

为什么平台报告的数值可能与增量结果不同#

广告平台使用自己的规则将转化归因给广告。如果有人已经打算通过有机搜索或品牌搜索点击购买，并且恰好在此过程中看到了重定向广告，标准的转化跟踪仍然可以将该功劳归因于其归因窗口内的广告。更虚的功劳，即平台在某人仅看到广告后就计算一次转化，会加大这一差距；这种机制称为浏览归因。因此，平台报告的转化与其广告导致的转化并不是一回事。增量性测试提出的是一个不同的问题：如果这个渠道没有投放广告，这个转化还会发生吗？

这与跟踪像素自身回答的问题不同，因此增量性测试是与平台仪表盘配合使用，而不是替代它们。

团队如何在实际中运行#

实际中会使用多种设计。地理级别测试将地区分配到测试组或对照组条件，例如在某些地区投放某渠道的广告、在其他地区不投放，并比较各地区之间的销售或转化等结果；Google 的地理实验会随机分配互不重叠的地区，而 Meta 的 GeoLift 则利用未处理地区构建合成对照。用户级别测试使用广告平台的转化提升工具：Meta 的 Conversion Lift 会将用户随机分配到看到广告的测试组和看不到广告的对照组，Google Ads Conversion Lift 提供基于用户和基于地理区域的研究，不过 Google 表示它并非对所有账户都可用。

效果的估算方式取决于设计。在随机化的用户级别测试中，估计值是测试组与对照组之间的结果差异，可以报告为额外转化数，也可以报告为相对于对照组的百分比。举个假设性的例子，如果 10,000 名测试用户产生 300 次转化，而 10,000 名对照组用户产生 250 次转化，那么即使平台将其全部 300 次转化都归因于自己的广告，估算的提升仍为 50 次转化，即相对于对照组提升 20%。地理区域测试通常不依赖这种简单的相减：它们会将受处理地区与模型（例如根据未处理地区构建的合成对照）所预测的、在没有广告的情况下本应产生的结果进行比较。一个在平台上报告出强劲ROAS的渠道，在测试中可能显示出小得多的增量效果；差距有多大取决于渠道、受众和衡量窗口。

它的用途#

媒介购买者使用增量性测试来为跨网络的预算分配提供依据，而不仅仅是孤立地审计一个渠道。一个结果描述的是被测试的受众、时段和支出水平。

公开广告档案库无法衡量增量性。一个被长期观察到的广告并不能说明它带来了额外转化，因为广告寿命记录的是广告被看到的时间长短，而不是支出或结果。档案库能提供的是假设：OpenAdLibrary的广告情报页面展示某广告主被观察到使用了哪些创意和网络，以及持续了多长时间，这可以帮助你在将测试广告支出投入对照组之前，决定要用自己的对照组测试什么。

常见错误#

对照组需要足够大，并且分配足够随机或匹配得足够仔细，才能检测到真实信号，而不仅仅是噪音。在低流量渠道上进行短时间测试可能没有足够的转化量来检测到效果，而 Meta 的 GeoLift 文档警告说，在没有事先进行功效分析的情况下运行地理测试，很可能即使提升确实存在也检测不到。季节性高峰或全站促销本身并不会使随机化测试失效，因为两组都会经历它，但此时测得的提升描述的是那个时期，在正常周可能并不成立。只触及其中一组的事件，例如地理测试中的区域性促销，可能会使结果产生偏差，因此要让测试地区和控制地区的其他营销活动保持一致。在覆盖至少一个购买周期的代表性时间段内运行测试，通过功效计算确定对照组规模，并且不要因为中期数字看起来好或坏就提前停止。