ホールドアウトテスト（広告）：定義と用途

ホールドアウトテストは、オーディエンスの一部（ホールドアウトグループ）に対して広告やマーケティング施策を非表示にし、残りのオーディエンスは通常通り受け取る状態で、両グループの結果を比較して施策の実際の効果を測定する実験デザインです。これは広告で使用される因果測定実験の広範なファミリーを包括する用語であり、地域全体の一時停止から狭いフリークエンシーキャップテストまでをカバーします。

基本的な仕組み#

結果指標を予測する特性（過去の購入行動、地域、デバイスタイプなど、ビジネスにとって重要なもの）に関して可能な限り類似した2つのグループにオーディエンスを分割します。一方のグループ（ホールドアウト）は広告を表示されず（代わりに公共サービスメッセージが表示されることもあります）、もう一方のグループは通常通りキャンペーンを目にします。設定された期間後、2つのグループ間でコンバージョン率、収益、またはテストしている指標を比較します。グループ間のベースラインの差を調整した差異が、施策のインクリメンタル効果です。

プラットフォームがこれを組み込む理由#

現在、セルフサービスのデマンドサイドプラットフォームを持つ主要な広告プラットフォームのほとんどは、何らかの形で組み込みのコンバージョンリフトテストまたはホールドアウトテストを提供しています。なぜなら、広告主は自身のコンバージョントラッキングダッシュボードでは正直に答えられなかった同じ質問を繰り返し尋ねてきたからです：これらのコンバージョンはそもそも発生していたのでしょうか？強いROAS数値を示すダッシュボードは関連するコンバージョンを報告しているのであって、必ずしも引き起こされたコンバージョンを報告しているわけではなく、真のホールドアウトだけがこの2つを分離します。

ファネル全体でのホールドアウトテストの使用箇所#

フルチャネルホールドアウトは、一部のユーザーや地域に対してネットワーク全体またはチャネル全体を一時停止するもので、地域リフトテストの背後にあるデザインです。キャンペーンレベルのホールドアウトは、特定のキャンペーンを一時停止して他のキャンペーンは継続し、そのキャンペーンの効果をチャネルのベースラインから分離します。フリークエンシーホールドアウトは、ユーザーが広告を表示する回数に上限を設け、上限なしのグループと結果を比較するもので、クリエイティブ疲労や収穫逓減の測定に役立ちます。

実用的な制約#

ホールドアウトテストを実行することは、テスト期間中、実際のアドレス可能な顧客の一部に意図的に広告を表示しないことを意味し、それには実際の短期的なコストが伴います。これこそが、インクリメンタリティを重視するチームが受け入れるトレードオフです。支出が実際に機能するかどうかについて信頼できる答えを得るために、短期的なリーチと収益の一部を犠牲にするのです。サンプルサイズも重要です。ホールドアウトテストでは、両方のグループに統計的に意味のある差を検出するのに十分なボリュームが必要です。トラフィックが少ないチャネルや短いキャンペーンでテストすると、結果に見せかけたノイズが生じることがよくあります。

結果を正しく解釈する#

ヌル結果、つまり露出グループとホールドアウトグループの間に意味のある差がないことは、失敗したテストではなく、実際の発見です。それは、そのチャネルが少なくともそのオーディエンスと期間については、本来起こっていたであろうこと以上に付加価値をもたらしていなかったことを意味します。強い報告数値に基づいてチャネルを拡大する前に、同業他社がそのチャネルで多額の広告費を投じているかどうかを確認してください。なぜなら、長期にわたって実行されているクリエイティブで混雑しているチャネルは（広告寿命を参照）、ホールドアウトテストが実際のリフトを確認する傾向があるチャネルの合理的な代理指標となるからです。OpenAdLibraryの広告インテリジェンスプラットフォームを使用すると、テスト予算を投入する前に、ネットワークと業種別にそのアクティビティを確認できます。