OpenAdLibraryOpenAdLibrary
広告クリエイティブとファネル

広告A/Bテストの実施期間:サンプルサイズ計算を実用的に

A/Bテストの期間は算術であり、伝承ではない:必要なサンプルを1日あたりの予想観測数で割る。実用的なサンプルサイズ計算に加え、コンバージョン遅延、停止ルール、そしてカレンダー上の下限や上限がすべてのテストに当てはまるわけではない理由を解説する。

編集イラスト:広告A/Bテストの実施期間:サンプルサイズ計算を実用的に

実験単位、ベースライン率、検出する価値のある効果、許容誤差、割り付け、および1日あたりの予想観測数から期間を計画する。コンバージョン遅延と関連するサイクルも考慮に入れる。すべての広告テストを結論づける普遍的なコンバージョン件数やカレンダー上のしきい値は存在しない。

期間は出力であり、カレンダーの選択ではない#

バリアントあたりの予想観測数は、計画したサンプルに到達するまでに必要な時間に影響する。コンバージョン件数だけでは必要なサンプルは定義されない:ベースライン率、効果量、デザイン、および不確実性の仮定を指定する。

  • テストする指標のベースライン率 — クリエイティブのCTR、ランダーとオファーのコンバージョン率。
  • 検出する価値のある最小の差。 10%のリフトを検出するには50%のリフトを検出するよりもはるかに多くのトラフィックが必要であり、ほとんどの小さなリフトはそれを見るための支出に見合わない。
  • バリアントあたりのデイリーボリューム — 予算と入札価格によって決まる。

選択したデザインの下で必要な観測数を見積もり、1日あたりのバリアントごとの予想観測数で割る。得られた期間が依然として妥当か確認する。4週間という期間は自動的に無効となるしきい値ではない。

統計学の学位なしで使えるサンプルサイズ計算#

2つの独立した比率に対する1つの粗い計画用近似は、均等割り付け、固定ホライズン、両側5%有意水準、および80%検出力を用いる:

n バリアントあたり ≈ 16 × p × (1 − p) ÷ d²

ここで p は想定されるベースラインのイベント率、d は絶対率差である。結果はバリアントあたりの観測数を数えるもので、コンバージョンではなく、インプレッションや適格な訪問などの観測数である。この近似は、稀なアウトカム、不均等な割り付け、同一ユーザーの反復、クラスタリング、およびデザインからのその他の逸脱がないか確認する必要がある。

仮想的な計算:p=0.005、d=0.001 の場合、バリアントあたり約79,600インプレッションとなる。p=0.02、d=0.005 の場合、バリアントあたり約12,544の適格な訪問となる。そのような訪問1回のコストがUS$0.40なら、2つのアームでメディア費用は他のコストを除いて約US$10,035かかる。これらは計画用のシナリオであり、業界ベンチマークや有意性の保証ではない。

テスト対象 ベースライン 検出するリフト バリアントあたりのサンプル
CTR(クリエイティブ) 0.5% 20%相対 約80,000インプレッション
CTR(クリエイティブ) 0.5% 50%相対 約13,000インプレッション
CVR(ランダー) 2% 25%相対 約12,500クリック
CVR(ランダー) 2% 50%相対 約3,100クリック
CVR(オファーページ) 5% 25%相対 約4,900クリック

この近似では、d を半分にすると計画サンプルは4倍になる。CTRとコンバージョンは異なる問いに答える:CTRの改善が収益貢献や獲得コストを改善するとは限らない。インプレッションレベルのテストが常に安価または十分だと想定するのではなく、意思決定に合わせて指標とガードレールを選ぶ。

関連するサイクルとコンバージョン遅延を考慮する#

関連するトラフィックを代表し、遅延した成果が成熟するのを可能にする期間を選ぶ。週次のパターンは重要かもしれないが、7日間は普遍的な最低期間でも、デザインが代表的であることの証明でもない。

上限:長期テストは内部から腐敗する#

より長い期間は条件の変化をもたらす可能性があるが、3〜4週間を過ぎたからといってテストが自動的に制御されたものではなくなるわけではない。ランダム化、同時曝露、ドリフト、遅延した成果、および実務上の妥当性を評価し、必要ならデザインを修正する。

覗き見をするな——少なくとも覗き見に基づいて行動するな#

固定ホライズンのテストを繰り返し確認し、最初の好都合な有意性の結果で停止すると、そのエラー率が変わりうる。デザインと分析を事前に指定するか、適切な逐次法を用いる。運用上の停止条件は、統計的な成功宣言とは別ものである。

有意性が負担できない場合のキルルール#

ほとんどのネイティブおよびアフィリエイトバイヤーは、バリアントあたり12,500クリックの資金を調達できず、そうでないふりをすると偽の厳密さが生まれる。正直な代替案は段階的な選別である——有意性テストより粗いが、月に数十のクリエイティブをテストするバイヤーの間で標準的なプラクティス:

財務上の停止ルールはエクスポージャーを制限できるが、統計的有意性を確立するものではない。確認テストの前にバリアントをスクリーニングする場合は、選択と多重比較を考慮し、最終判断には新しく適切にデザインされたエビデンスを使用する。2〜3倍のCPAルールや数千インプレッションは、普遍的な検証ではない。

競合他社の観察から仮説を形成する#

競合他社のキャプチャはクリエイティブの仮説を示唆できる。30日間の観察期間は、競合他社が収益性テストを通過したことを立証するものではなく、見慣れた角度を選んでも、選択した統計的デザインに必要なサンプルは減らない。

エンドツーエンドの実例#

あなたが60ドルのペイアウトのリードジェンオファーを運営しており、テストセル全体で1日あたり約1,500クリックを生成する1つのキャンペーンがあるとしよう。

p=0.03、d=0.009 の仮想的な均等割り付けテストでは、この近似によりアームあたり約5,748の適格な訪問が得られる。1日あたり合計1,500の適格な訪問がある場合、遅延、サイクル、その他のデザイン要件を考慮する前で、両方のアームを集めるには約7.7日かかる。事前のスクリーニング段階があっても、10〜12日後に防御可能な勝者が保証されるわけではない。

計画された期間は、サンプル要件を、予想される適格トラフィックおよび成果のタイミングと組み合わせたものである。それは、実験が統計的または商業的に決定的な勝者を生み出すという保証ではない。

よくある質問

広告A/Bテストでは、バリアントごとに何件のコンバージョンが必要ですか?
必要な観測数は、ベースライン率、絶対効果、検出力、許容できる誤差、およびデザインによって決まります。表示されている計算式は独立した比率に対する粗い近似であり、正確なコンバージョン件数のルールではありません。
広告A/Bテストの実行に3日間で十分ですか?
デザイン、対象となる適格なトラフィック、関連するサイクル、および成果の遅延によって異なります。3日間は特定の問いには短すぎる場合がありますが、7日間が普遍的な有効性のしきい値というわけではありません。
広告はCTRとコンバージョン率のどちらでテストすべきですか?
意思決定に合った指標を選び、下流のガードレールも含めます。CTRとコンバージョン率は異なる問いに答えるものであり、本記事は普遍的な10~100倍のコスト差を立証するものではありません。
有意差が出たらすぐにA/Bテストを停止するとどうなりますか?
偽陽性率が劇的に上昇します。毎日確認し、最初の有意な読み取りで停止すると、多くの「勝者」はノイズであり、より多くのデータで回帰したであろう——古典的な覗き見問題です。事前にサンプルサイズを決定し、日次チェックはトラッキングの破損や支出の暴走などのストップロス条件にのみ使用し、サンプルが完了した時点で一度評価を行います。
テスト後に勝ったはずの広告バリアントが勝たなくなったのはなぜですか?
考えられる説明には、不確実性、選択バイアス、トラフィックの変化、遅延した成果、および実際のパフォーマンス変化が含まれます。本記事は通常の原因を立証しているわけではないため、デザインとその後のデータを確認してください。
OpenAdLibrary チーム
執筆者OpenAdLibrary チーム
広告インテリジェンス & ネイティブ広告リサーチ

私たちは、オープンな広告透明性プラットフォームである OpenAdLibrary を構築しています。毎日、当社のシステムは Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo、MSN で配信中のネイティブ広告を収集し、各広告の背後にいる実際の広告主を特定し、クリック先のランディングページを追跡します。これらのガイドは、そのデータから得られた知見を凝縮したものであり、市場調査をより迅速に行うための手助けとなります。