広告A/Bテストの実施期間:サンプルサイズ計算を実用的に
A/Bテストの期間は算術であり、伝承ではない:必要なサンプルを1日あたりの予想観測数で割る。実用的なサンプルサイズ計算に加え、コンバージョン遅延、停止ルール、そしてカレンダー上の下限や上限がすべてのテストに当てはまるわけではない理由を解説する。

実験単位、ベースライン率、検出する価値のある効果、許容誤差、割り付け、および1日あたりの予想観測数から期間を計画する。コンバージョン遅延と関連するサイクルも考慮に入れる。すべての広告テストを結論づける普遍的なコンバージョン件数やカレンダー上のしきい値は存在しない。
期間は出力であり、カレンダーの選択ではない#
バリアントあたりの予想観測数は、計画したサンプルに到達するまでに必要な時間に影響する。コンバージョン件数だけでは必要なサンプルは定義されない:ベースライン率、効果量、デザイン、および不確実性の仮定を指定する。
- テストする指標のベースライン率 — クリエイティブのCTR、ランダーとオファーのコンバージョン率。
- 検出する価値のある最小の差。 10%のリフトを検出するには50%のリフトを検出するよりもはるかに多くのトラフィックが必要であり、ほとんどの小さなリフトはそれを見るための支出に見合わない。
- バリアントあたりのデイリーボリューム — 予算と入札価格によって決まる。
選択したデザインの下で必要な観測数を見積もり、1日あたりのバリアントごとの予想観測数で割る。得られた期間が依然として妥当か確認する。4週間という期間は自動的に無効となるしきい値ではない。
統計学の学位なしで使えるサンプルサイズ計算#
2つの独立した比率に対する1つの粗い計画用近似は、均等割り付け、固定ホライズン、両側5%有意水準、および80%検出力を用いる:
n バリアントあたり ≈ 16 × p × (1 − p) ÷ d²
ここで p は想定されるベースラインのイベント率、d は絶対率差である。結果はバリアントあたりの観測数を数えるもので、コンバージョンではなく、インプレッションや適格な訪問などの観測数である。この近似は、稀なアウトカム、不均等な割り付け、同一ユーザーの反復、クラスタリング、およびデザインからのその他の逸脱がないか確認する必要がある。
仮想的な計算:p=0.005、d=0.001 の場合、バリアントあたり約79,600インプレッションとなる。p=0.02、d=0.005 の場合、バリアントあたり約12,544の適格な訪問となる。そのような訪問1回のコストがUS$0.40なら、2つのアームでメディア費用は他のコストを除いて約US$10,035かかる。これらは計画用のシナリオであり、業界ベンチマークや有意性の保証ではない。
| テスト対象 | ベースライン | 検出するリフト | バリアントあたりのサンプル |
|---|---|---|---|
| CTR(クリエイティブ) | 0.5% | 20%相対 | 約80,000インプレッション |
| CTR(クリエイティブ) | 0.5% | 50%相対 | 約13,000インプレッション |
| CVR(ランダー) | 2% | 25%相対 | 約12,500クリック |
| CVR(ランダー) | 2% | 50%相対 | 約3,100クリック |
| CVR(オファーページ) | 5% | 25%相対 | 約4,900クリック |
この近似では、d を半分にすると計画サンプルは4倍になる。CTRとコンバージョンは異なる問いに答える:CTRの改善が収益貢献や獲得コストを改善するとは限らない。インプレッションレベルのテストが常に安価または十分だと想定するのではなく、意思決定に合わせて指標とガードレールを選ぶ。
関連するサイクルとコンバージョン遅延を考慮する#
関連するトラフィックを代表し、遅延した成果が成熟するのを可能にする期間を選ぶ。週次のパターンは重要かもしれないが、7日間は普遍的な最低期間でも、デザインが代表的であることの証明でもない。
上限:長期テストは内部から腐敗する#
より長い期間は条件の変化をもたらす可能性があるが、3〜4週間を過ぎたからといってテストが自動的に制御されたものではなくなるわけではない。ランダム化、同時曝露、ドリフト、遅延した成果、および実務上の妥当性を評価し、必要ならデザインを修正する。
覗き見をするな——少なくとも覗き見に基づいて行動するな#
固定ホライズンのテストを繰り返し確認し、最初の好都合な有意性の結果で停止すると、そのエラー率が変わりうる。デザインと分析を事前に指定するか、適切な逐次法を用いる。運用上の停止条件は、統計的な成功宣言とは別ものである。
有意性が負担できない場合のキルルール#
ほとんどのネイティブおよびアフィリエイトバイヤーは、バリアントあたり12,500クリックの資金を調達できず、そうでないふりをすると偽の厳密さが生まれる。正直な代替案は段階的な選別である——有意性テストより粗いが、月に数十のクリエイティブをテストするバイヤーの間で標準的なプラクティス:
財務上の停止ルールはエクスポージャーを制限できるが、統計的有意性を確立するものではない。確認テストの前にバリアントをスクリーニングする場合は、選択と多重比較を考慮し、最終判断には新しく適切にデザインされたエビデンスを使用する。2〜3倍のCPAルールや数千インプレッションは、普遍的な検証ではない。
競合他社の観察から仮説を形成する#
競合他社のキャプチャはクリエイティブの仮説を示唆できる。30日間の観察期間は、競合他社が収益性テストを通過したことを立証するものではなく、見慣れた角度を選んでも、選択した統計的デザインに必要なサンプルは減らない。
エンドツーエンドの実例#
あなたが60ドルのペイアウトのリードジェンオファーを運営しており、テストセル全体で1日あたり約1,500クリックを生成する1つのキャンペーンがあるとしよう。
p=0.03、d=0.009 の仮想的な均等割り付けテストでは、この近似によりアームあたり約5,748の適格な訪問が得られる。1日あたり合計1,500の適格な訪問がある場合、遅延、サイクル、その他のデザイン要件を考慮する前で、両方のアームを集めるには約7.7日かかる。事前のスクリーニング段階があっても、10〜12日後に防御可能な勝者が保証されるわけではない。
計画された期間は、サンプル要件を、予想される適格トラフィックおよび成果のタイミングと組み合わせたものである。それは、実験が統計的または商業的に決定的な勝者を生み出すという保証ではない。







