インクリメンタリティテスト：定義と仕組み

インクリメンタリティテストは、広告チャネルについて報告されたコンバージョン活動のうち、実際に広告が引き起こしたのはどの程度かを推定する管理実験であり、プラットフォームのトラッキングがその広告に帰属させるコンバージョンに依存するものではありません。特定のチャネルの広告を見ないようにユーザーや地域のグループを保留し、それらを見たグループと結果を比較します。適切に設計されたテストでは、グループ間の差を、そのオーディエンス、期間、設定におけるチャネルのインクリメンタル効果の推定値として読み取り、その不確実性とともに報告します。ホールドアウトグループに残る成果は、広告なしで発生したものです。

プラットフォーム報告数値がインクリメンタル結果と異なる理由#

広告プラットフォームは独自のルールでコンバージョンを広告に帰属させます。もし誰かがオーガニック検索やブランド検索クリックを通じてすでに購入するつもりで、途中でリターゲティング広告をたまたま見たとしても、標準のコンバージョントラッキングは、そのアトリビューションウィンドウ内でその広告にクレジットを与えることができます。誰かが広告を見ただけでプラットフォームがコンバージョンをカウントする、よりソフトなクレジットは、この乖離をさらに広げます。このメカニズムはビュースルーアトリビューションと呼ばれます。したがって、プラットフォームが報告するコンバージョンは、その広告が引き起こしたコンバージョンと同じものではありません。インクリメンタリティテストは別の問いを投げかけます。このチャネルが広告を出していなかったら、そのコンバージョンは依然として発生していたでしょうか？

これは、トラッキングピクセルが単独で答える問いとは異なるため、インクリメンタリティテストはプラットフォームダッシュボードに代わるものではなく、それらと並行して使用されます。

実際のチームの運用方法#

いくつかの設計が用いられます。ジオレベルテストでは、地域をテスト条件またはホールドアウト条件に割り当て、たとえば一部の地域でチャネルの広告を配信し、他の地域では配信を保留して、地域間で売上やコンバージョンなどの成果を比較します。Googleのジオ実験では重複しない地域をランダムに割り当て、MetaのGeoLiftは未処置の地域から合成コントロールを構築します。ユーザーレベルテストでは、広告プラットフォームのコンバージョンリフトツールを使用します。MetaのConversion Liftは、広告を見るテストグループと広告を見ないコントロールグループに人々をランダムに割り当て、Google Ads Conversion Liftはユーザーベースと地域ベースの調査を提供していますが、Googleはすべてのアカウントで利用できるわけではないと述べています。

効果の推定方法は設計によって異なります。ランダム化されたユーザーレベルテストでは、推定値はテストグループとホールドアウトグループの成果の差であり、追加コンバージョン数またはホールドアウトに対する割合として報告できます。仮の例として、10,000人のテストユーザーが300コンバージョンを生み、10,000人のホールドアウトユーザーが250コンバージョンを生んだ場合、プラットフォームが300コンバージョンすべてを広告に帰属させたとしても、推定リフトは50コンバージョン、つまりホールドアウトに対して20%です。ジオテストは通常、この単純な引き算に依存しません。処置された地域を、未処置の地域から構築した合成コントロールなどのモデルが、広告なしで生み出していただろう値と比較します。プラットフォーム上で強いROASを示しているチャネルでも、テストではインクリメンタル効果がはるかに小さく示されることがあります。その差がどの程度大きいかは、チャネル、オーディエンス、測定ウィンドウによって異なります。

何に使われるか#

メディアバイヤーは、単一のチャネルを切り離して監査するためだけでなく、ネットワーク全体の予算配分に役立てるためにインクリメンタリティテストを使用します。ある結果は、テストされたオーディエンス、期間、支出レベルを記述するものです。

公開広告アーカイブではインクリメンタリティを測定できません。長期間観察された広告は、追加コンバージョンを引き起こしたことを示すものではありません。なぜなら、広告寿命は広告がどれだけ長く見られたかを記録するものであり、支出や成果を記録するものではないからです。アーカイブが提供できるのは仮説です。OpenAdLibraryの広告インテリジェンスページでは、広告主が使用していると観察されたクリエイティブとネットワーク、およびその期間を確認でき、テストの広告費を投入する前に、自分のホールドアウトで何をテストするかを決めるのに役立ちます。

よくある間違い#

ホールドアウトグループは、ノイズではなく実際のシグナルを検出するために、十分に大きく、かつランダムに割り当てられるか慎重にマッチングされている必要があります。低ボリュームのチャネルでの短いテストでは、効果を検出するのに十分なコンバージョンがない場合があります。また、MetaのGeoLiftドキュメントは、事前のパワー分析なしにジオテストを実施すると、リフトが存在する場合でもそれを見つけられない可能性が高くなると警告しています。季節的なピークやサイト全体のプロモーションは、それ自体ではランダム化テストを無効にしません。なぜなら、両方のグループがそれを経験するからです。ただし、その場合に測定されるリフトはその期間を表すものであり、通常の週には当てはまらない可能性があります。ジオテストにおける地域プロモーションなど、一方のグループにしか届かないイベントは結果にバイアスを与える可能性があるため、テスト地域とコントロール地域で他のマーケティングを一定に保ってください。少なくとも1回の購買サイクルをカバーする代表的な期間にテストを実施し、パワー計算でホールドアウトをサイジングし、中間の数値が良くても悪くても早期に停止しないでください。