インクリメンタリティテスト：定義と仕組み

インクリメンタリティテストは、報告されたコンバージョンのうち、広告チャネルが実際に引き起こした量を測定する管理実験です。プラットフォームのピクセルが単にクレジットを主張するコンバージョン数ではありません。特定のチャネルの広告を見ないようにユーザーや地域のグループを保留し、それらを見たグループと結果を比較します。2つのグループ間に残った差が、そのチャネルの真のインクリメンタルな貢献です。それ以外は、本来発生していたであろうコンバージョンです。

プラットフォーム報告数値が結果を過大評価する理由#

すべての広告ネットワークは売上のクレジットを欲しがります。もし誰かがオーガニック検索やブランド検索クリックを通じてすでに購入するつもりで、途中でリターゲティング広告をたまたま見たとしても、標準のコンバージョントラッキングは、そのアトリビューションウィンドウ内でそのクレジットを広告に渡すことができます。さらに、誰かが広告を見ただけでプラットフォームがコンバージョンをカウントする、よりソフトなクレジットも問題を悪化させます。このメカニズムはビュースルーアトリビューションと呼ばれます。インクリメンタリティテストは、より率直な質問をすることでこのノイズを取り除きます。今月このチャネルが0ドル使っていたら、そのコンバージョンは依然として発生していたでしょうか？

これはトラッキングピクセルが単独で答える質問とは異なります。そのため、月額6桁のネイティブまたはソーシャル予算を運用しているチームは、最終的にプラットフォームダッシュボードに代わるものではなく、それと並行してインクリメンタリティプログラムを構築します。

実際のチームの運用方法#

2つの設計がほとんどの実際のケースをカバーします。ジオレベルテストでは、一致する地域のセットでチャネルを完全に停止し、支出が継続された地域とコンバージョン率を比較します。ユーザーレベルテストでは、広告プラットフォームの組み込みコンバージョンリフトツール（複数のデマンドサイドプラットフォームがネイティブに提供）を使用して、ランダム化されたオーディエンスの一部に広告を表示しません。

どちらの方法でも、計算は同じです。インクリメンタルリフトは、テストグループのコンバージョン率からホールドアウトグループのコンバージョン率を引いたものに等しい。プラットフォーム上で強い自己報告のROASを示しているチャネルでも、クリーンなホールドアウトによって本来コンバージョンしたであろうユーザーを除去すると、インクリメンタルリフトがほぼゼロになる場合があります。

何に使われるか#

メディアバイヤーは、単一のチャネルを監査するためだけでなく、ネットワーク全体の予算配分を決定するためにインクリメンタリティテストを実施します。インデックス全体で見られるパターン：同じクリエイティブアングルを複数のネットワークで同時に実施しているブランドは、多くの場合、すべてのネットワークが効果を発揮していると想定していますが、リフトテストでは、あるチャネルが主に別のチャネルがすでに生み出した需要を再獲得していることが示されます。

正式なテストを実施する前に、ほとんどのチームは、自社の垂直市場の競合他社が実際に何を拡大しているかを観察することから始めます。なぜなら、長い広告寿命で混雑しているチャネルは、インクリメンタル予算が効果を発揮しやすい場所の適切な代理指標となるからです。OpenAdLibraryの広告インテリジェンスツールを使用すると、テストの広告費をホールドアウトに投入する前に、ネットワーク全体のクリエイティブの重複と実行期間を確認できます。

よくある間違い#

ホールドアウトグループは、ノイズではなく実際のシグナルを検出するために、十分に大きく、十分にランダムである必要があります。低ボリュームのチャネルでの1週間のテストでは、通常、統計的有意性に達しません。また、チームは季節的なピーク時やサイト全体のプロモーション中にテストを実施することがよくありますが、これにより両方のグループが均等に汚染され、リフト数値が無意味になります。代表的な期間にテストを実施し、適切なパワー計算でホールドアウトをサイジングし、中間の数値が良くても悪くても早期に停止しないでください。