广告A/B测试应运行多久:样本量数学实用指南
A/B测试时长是算术问题,而非经验法则:所需样本除以每日预期观测数。样本量数学的实用呈现,外加转化延迟、停止规则,以及为什么不存在适用于所有测试的日历下限或上限。

从实验单元、基准率、值得检测的效应、误差容忍度、分配方式和每日预期观测数出发来规划时长。还要考虑转化延迟和相关周期。不存在能让每次广告测试都得出定论的通用转化次数或日历门槛。
时长是输出结果,而非日历选择#
每个变体的预期观测数会影响达到计划样本所需的时间。仅凭转化次数并不能确定所需样本:需要明确基准率、效应量、实验设计和不确定性假设。
- 您测试指标的基准率——创意使用CTR,着陆页和优惠使用转化率。
- 值得检测的最小差异。 检测10%的提升所需流量远多于检测50%的提升,而且大多数小提升不值得花费流量去发现。
- 每个变体的每日流量——由您的预算和出价决定。
在所选设计下估算所需观测数,再除以每个变体每日的预期观测数。检查得出的时间窗口是否仍然相关;四周时长并不是自动失效的门槛。
样本量数学,无需统计学学位#
针对两个独立比例的一种粗略规划近似,采用等量分配、固定观察期、双侧5%显著性水平和80%统计功效:
每个变体n ≈ 16 × p × (1 − p) ÷ d²
这里p是假设的基准事件率,d是绝对率差。结果统计的是每个变体的观测数,例如展示量或合格访问,而不是转化次数。该近似需要针对稀有结果、不等分配、重复用户、聚类以及其他偏离设计的情况进行检查。
假设性计算:p=0.005且d=0.001时,每个变体约需79,600次展示。p=0.02且d=0.005时,每个变体约需12,544次合格访问。如果每次这样的访问成本为US$0.40,两个分支在其他成本之前约需US$10,035的媒体花费。这些是规划情景,不是行业基准,也不保证显著性。
| 测试内容 | 基准率 | 检测提升 | 每个变体样本 |
|---|---|---|---|
| CTR(创意) | 0.5% | 20%相对提升 | ~80,000次展示 |
| CTR(创意) | 0.5% | 50%相对提升 | ~13,000次展示 |
| CVR(着陆页) | 2% | 25%相对提升 | ~12,500次点击 |
| CVR(着陆页) | 2% | 50%相对提升 | ~3,100次点击 |
| CVR(优惠页面) | 5% | 25%相对提升 | ~4,900次点击 |
在该近似下,将d减半会使计划样本量增至四倍。CTR和转化率回答的是不同的问题:CTR的提升未必能改善贡献或获客成本。应根据决策来选择指标和护栏,而不是假设展示级别的测试总是更便宜或足够。
考虑相关周期和转化延迟#
选择一个能代表相关流量的时间窗口,并让延迟的结果有时间成熟。每周模式可能很重要,但七天既不是普遍的最低要求,也不能证明该设计具有代表性。
上限:长时间测试从内部腐烂#
更长的时间窗口可能引入变化的条件,但测试不会在三四周后自动不再是受控实验。请评估随机化、同期曝光、漂移、延迟结果和实际相关性;如有需要,修改设计。
不要偷看——或者至少不要根据偷看采取行动#
反复检查固定观察期的测试,并在首次出现有利的显著性结果时停止,会改变其错误率。请预先指定设计和分析方法,或使用适当的序贯方法。运营性的停止条件与统计上的成功宣告是两回事。
无法负担显著性时的终止规则#
大多数原生和联盟营销买家无法负担每个变体12,500次点击,假装否则会产生虚假的严谨性。诚实的替代方案是分阶段筛选——比显著性测试更粗糙,是每月测试数十个创意的买家的标准做法:
财务止损规则可以限制风险敞口,但并不能确立统计显著性。如果在确认性测试之前先筛选变体,需考虑选择效应和多重比较,并为最终决策使用全新的、设计得当的证据。2–3倍CPA规则或几千次展示并不是普遍有效的验证。
利用竞争对手的观察来形成假设#
竞争对手的素材捕捉可以提示创意假设。30天的观察跨度并不能证明竞争对手通过了盈利测试,选择熟悉的角度也不会减少你所选统计设计所需的样本量。
一个端到端的工作示例#
假设您运行一个$60派发的线索生成优惠,有一个活动每天跨测试组提供约1,500次点击。
在一个假设的等量分配测试中,p=0.03且d=0.009,该近似得出每个分支约需5,748次合格访问。如果每天总共有1,500次合格访问,收集完两个分支大约需要7.7天,这还没有考虑延迟、周期或其他设计要求。早期的筛选阶段并不能保证在10–12天后得到一个站得住脚的胜出者。
计划时长将样本需求与预期合格流量以及结果出现的时间结合起来。它并不保证实验会产生统计上或商业上具有决定性的胜出者。







