OpenAdLibraryOpenAdLibrary
术语解释

冠军/挑战者测试

冠军/挑战者测试将您当前最佳广告或出价设置与真实流量中的新变体进行对抗,只有当新变体公平地击败现有表现时,才会替换它。

编辑插图:冠军/挑战者测试

冠军/挑战者测试是一种在真实流量中决定新广告、标题或出价设置(“挑战者”)是否真正击败当前最佳表现者(“冠军”)的方法,然后再替换它。与盲目测试不同,您保持已证明的胜者继续运行,并将一部分流量分给挑战者,然后在相同的市场条件下比较结果。

名称来源#

该术语比数字广告更早出现。直邮营销人员以及后来的银行和保险公司使用冠军/挑战者来描述对照方案(冠军)如何捍卫其地位,直到挑战者通过真实响应数据证明自己后才让位。原生广告和社交广告平台借鉴了同样的逻辑,因为它解决了一个实际问题:纯粹的A/B测试将每个广告视为未经证实,但实际上您几乎总是有一个现有的广告创意已经在转化。

在原生广告活动中的运作方式#

假设您有一个标题在Taboola上已经盈利运行了三周。与其暂停它来同等测试五个新吸引点,不如让冠军继续获得大部分预算,并将较小且固定的流量份额分配给一两个挑战者。您观察每次获取成本和转化率,直到样本量足够大以信任数据,而不仅仅是一两天。如果挑战者以显著优势击败冠军,它就成为新的冠军,循环重复。如果没有,您就放弃它并尝试下一个想法,而原来的冠军则一直保持盈利。

这在那些需要流量和时间来优化的智能出价算法网络上更为重要。不断替换您表现最佳的广告会重置优化,并可能触发算法重新学习,因此保护冠军不仅是保守做法,而且通常是提升整体账户表现的更快途径,这一动态在Taboola广告运作方式中有更深入的介绍。

冠军/挑战者与直接A/B测试#

A/B测试通常意味着两个未知选项从零开始竞争,流量平均分配。而冠军/挑战者假设一方已有历史记录,因此流量分配往往不均匀(例如80/20或90/10),并且挑战者获胜的门槛更高,因为您不只是在寻找“更好”,而是在寻找“比已证明的更好”。在某个垂直领域研究如何找到获胜广告的买家会认识到同样的本能:竞争对手长期运行的创意很可能就是该广告主当前的冠军,而您看到他们测试的新变体可能是他们正拿来与之较量的挑战者。

利用竞争数据来培育挑战者#

在您自己的账户之外使用冠军/挑战者的一种实际方法是挖掘在其他地方已经存活的广告。如果观察到竞争对手的广告在Outbrain或MGID上运行了数周,那么它很可能已经在自己内部的挑战者轮次中存活下来。研究其吸引点和角度,您就能得到一个比凭空猜测更强的起始挑战者,这也是OpenAdLibrary的广告情报工具存在的原因之一:它们会显示市场上的创意已被观察到运行了多长时间——这是判断哪些创意守住了位置的粗略信号——让您在花费预算自行发现之前就能获得参考。

常见错误#

两种失败模式是:在样本量不足以支持之前过早宣布胜者,以及出于情感或懒惰原因,即使挑战者明显表现更好也从不真正淘汰冠军。两者都会浪费预算。制定书面规则(例如,在比较结果前设定最低花费或转化次数,一旦达到阈值自动切换)可以消除猜测和凭感觉判断早期噪点数据的诱惑。

常见问题

冠军/挑战者测试与A/B测试有什么区别?
A/B测试通常将流量平均分配给两个未经证实的选项。而冠军/挑战者测试则让已证明有效的表现者(冠军)继续运行并占据大部分流量,同时测试一个新变体(挑战者),因此比较总是有一方有历史数据支持。
应该分配多少流量给挑战者?
没有统一规则,但许多买家一开始将10%到20%的流量分配给挑战者,只有在早期结果呈现积极趋势时才增加其份额。这样可以在挑战者表现不佳时限制损失。
冠军/挑战者测试应该运行多长时间?
足够长以获取有意义的转化样本,而不是固定的天数。对于低流量活动,这可能意味着数周。在数据噪点较多时过早结束测试是买家选择错误胜者最常见的方式。
冠军/挑战者测试是否适用于出价,而不仅仅是创意?
是的。同样的逻辑适用于出价策略、落地页或受众定向:保持当前最佳设置运行,并针对它测试单个更改,而不是一次性全面改动。
OpenAdLibrary 编辑团队
作者OpenAdLibrary 编辑团队
广告情报与原生广告研究

我们构建了 OpenAdLibrary,一个开放的广告透明度平台。我们的系统每日捕捉 Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo 和 MSN 上的实时原生广告,识别每个广告背后的真实广告主,并追踪点击至其落地页。这些指南提炼了我们在数据中的发现,助您更快地研究市场动态。