OpenAdLibraryOpenAdLibrary
广告创意与转化漏斗

广告A/B测试应运行多久:样本量数学实用指南

A/B测试时长是算术问题,而非经验法则:所需样本除以每日预期观测数。样本量数学的实用呈现,外加转化延迟、停止规则,以及为什么不存在适用于所有测试的日历下限或上限。

编辑插图:广告A/B测试应运行多久:样本量数学实用指南

从实验单元、基准率、值得检测的效应、误差容忍度、分配方式和每日预期观测数出发来规划时长。还要考虑转化延迟和相关周期。不存在能让每次广告测试都得出定论的通用转化次数或日历门槛。

时长是输出结果,而非日历选择#

每个变体的预期观测数会影响达到计划样本所需的时间。仅凭转化次数并不能确定所需样本:需要明确基准率、效应量、实验设计和不确定性假设。

  • 您测试指标的基准率——创意使用CTR,着陆页和优惠使用转化率。
  • 值得检测的最小差异。 检测10%的提升所需流量远多于检测50%的提升,而且大多数小提升不值得花费流量去发现。
  • 每个变体的每日流量——由您的预算和出价决定。

在所选设计下估算所需观测数,再除以每个变体每日的预期观测数。检查得出的时间窗口是否仍然相关;四周时长并不是自动失效的门槛。

样本量数学,无需统计学学位#

针对两个独立比例的一种粗略规划近似,采用等量分配、固定观察期、双侧5%显著性水平和80%统计功效:

每个变体n ≈ 16 × p × (1 − p) ÷ d²

这里p是假设的基准事件率,d是绝对率差。结果统计的是每个变体的观测数,例如展示量或合格访问,而不是转化次数。该近似需要针对稀有结果、不等分配、重复用户、聚类以及其他偏离设计的情况进行检查。

假设性计算:p=0.005且d=0.001时,每个变体约需79,600次展示。p=0.02且d=0.005时,每个变体约需12,544次合格访问。如果每次这样的访问成本为US$0.40,两个分支在其他成本之前约需US$10,035的媒体花费。这些是规划情景,不是行业基准,也不保证显著性。

测试内容 基准率 检测提升 每个变体样本
CTR(创意) 0.5% 20%相对提升 ~80,000次展示
CTR(创意) 0.5% 50%相对提升 ~13,000次展示
CVR(着陆页) 2% 25%相对提升 ~12,500次点击
CVR(着陆页) 2% 50%相对提升 ~3,100次点击
CVR(优惠页面) 5% 25%相对提升 ~4,900次点击

在该近似下,将d减半会使计划样本量增至四倍。CTR和转化率回答的是不同的问题:CTR的提升未必能改善贡献或获客成本。应根据决策来选择指标和护栏,而不是假设展示级别的测试总是更便宜或足够。

考虑相关周期和转化延迟#

选择一个能代表相关流量的时间窗口,并让延迟的结果有时间成熟。每周模式可能很重要,但七天既不是普遍的最低要求,也不能证明该设计具有代表性。

上限:长时间测试从内部腐烂#

更长的时间窗口可能引入变化的条件,但测试不会在三四周后自动不再是受控实验。请评估随机化、同期曝光、漂移、延迟结果和实际相关性;如有需要,修改设计。

不要偷看——或者至少不要根据偷看采取行动#

反复检查固定观察期的测试,并在首次出现有利的显著性结果时停止,会改变其错误率。请预先指定设计和分析方法,或使用适当的序贯方法。运营性的停止条件与统计上的成功宣告是两回事。

无法负担显著性时的终止规则#

大多数原生和联盟营销买家无法负担每个变体12,500次点击,假装否则会产生虚假的严谨性。诚实的替代方案是分阶段筛选——比显著性测试更粗糙,是每月测试数十个创意的买家的标准做法:

财务止损规则可以限制风险敞口,但并不能确立统计显著性。如果在确认性测试之前先筛选变体,需考虑选择效应和多重比较,并为最终决策使用全新的、设计得当的证据。2–3倍CPA规则或几千次展示并不是普遍有效的验证。

利用竞争对手的观察来形成假设#

竞争对手的素材捕捉可以提示创意假设。30天的观察跨度并不能证明竞争对手通过了盈利测试,选择熟悉的角度也不会减少你所选统计设计所需的样本量。

一个端到端的工作示例#

假设您运行一个$60派发的线索生成优惠,有一个活动每天跨测试组提供约1,500次点击。

在一个假设的等量分配测试中,p=0.03且d=0.009,该近似得出每个分支约需5,748次合格访问。如果每天总共有1,500次合格访问,收集完两个分支大约需要7.7天,这还没有考虑延迟、周期或其他设计要求。早期的筛选阶段并不能保证在10–12天后得到一个站得住脚的胜出者。

计划时长将样本需求与预期合格流量以及结果出现的时间结合起来。它并不保证实验会产生统计上或商业上具有决定性的胜出者。

常见问题

广告A/B测试中每个变体需要多少次转化?
所需观测数取决于基准率、绝对效应、统计功效、误差容忍度和实验设计。文中展示的公式是独立比例的粗略近似,而非精确的转化次数规则。
广告A/B测试运行3天够吗?
这取决于实验设计、合格流量、相关周期和结果延迟。三天对某个特定问题可能太短,但七天也不是普遍的有效性门槛。
应该以CTR还是转化率来测试广告?
根据决策选择指标,并纳入下游护栏。CTR和转化率回答的是不同的问题;本文并未确立普遍适用的10–100倍成本差异。
如果A/B测试一达到显著性就停止,会怎样?
这会大幅提高假阳性率。每天检查并在首次出现显著结果时停止,意味着许多“胜出者”只是噪声,随着更多数据会回归均值——这是经典的偷看问题。预先承诺样本量,仅将每日检查用于止损条件,如跟踪损坏或花费失控,并在样本完成后一次性评估结果。
为什么测试后胜出的广告变体不再胜出?
可能的解释包括不确定性、选择偏差、流量变化、结果延迟以及表现的实际变化。本文并未确立某个常见原因;请检查实验设计和后续数据。
OpenAdLibrary 编辑团队
作者OpenAdLibrary 编辑团队
广告情报与原生广告研究

我们构建了 OpenAdLibrary,一个开放的广告透明度平台。我们的系统每日捕捉 Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo 和 MSN 上的实时原生广告,识别每个广告背后的真实广告主,并追踪点击至其落地页。这些指南提炼了我们在数据中的发现,助您更快地研究市场动态。