チャンピオン / チャレンジャーテスト

チャンピオン/チャレンジャーテストは、新しい広告、見出し、または入札設定（「チャレンジャー」）が、現在の最良のパフォーマー（「チャンピオン」）を実際に打ち負かすかどうかを、交換する前に判断するためのライブトラフィック手法です。盲目的にテストする代わりに、実証済みの勝者を稼働させ続け、トラフィックの一部をチャレンジャーに分割し、同一の市場条件下で結果を比較します。

名称の由来#

この用語はデジタル広告よりも古いものです。ダイレクトメールマーケター、そして後に銀行や保険会社が、チャンピオン/チャレンジャーを用いて、コントロールオファー（チャンピオン）が新しいチャレンジャーから自らの位置を守り、チャレンジャーが実際のレスポンスデータで実力を証明した場合にのみ譲る方法を説明していました。ネイティブおよびソーシャル広告プラットフォームは同じロジックを採用しました。なぜなら、それは実際の問題を解決するからです。純粋なA/Bテストはすべての広告を未検証として扱いますが、実際には、すでにコンバージョンしている既存の広告クリエイティブがほぼ常に存在します。

ネイティブキャンペーンでの動作方法#

例えば、Taboolaで3週間収益を上げている見出しがあるとします。それを一時停止して5つの新しいフックを均等にテストする代わりに、チャンピオンに予算の大部分を割り当て続け、トラフィックの小さな固定シェアを1つまたは2つのチャレンジャーに振り向けます。コスト・パー・アクワイジションとコンバージョン率を、単なる1日や2日ではなく、数字を信頼できる十分なサンプルサイズで観察します。チャレンジャーが有意な差でチャンピオンを打ち負かせば、それが新しいチャンピオンとなり、サイクルが繰り返されます。そうでなければ、それを廃止して次のアイデアを試し、元のものは常に成果を上げ続けます。

これは、スマートビディングアルゴリズムが最適化のためにボリュームと時間を必要とするネットワークでより重要です。最高のパフォーマンスの広告を頻繁に交換すると、その最適化がリセットされ、アルゴリズムに新たな学習フェーズが発生する可能性もあります。そのため、チャンピオンを保護することは保守的なだけでなく、多くの場合、アカウント全体のパフォーマンスへのより速い道であり、このダイナミクスはTaboola広告の仕組みでより詳しく説明されています。

チャンピオン/チャレンジャー対純粋なA/Bテスト#

A/Bテストは通常、コールドスタートから均等分割で競う2つの未知のものを意味します。チャンピオン/チャレンジャーは、一方にすでに実績があることを前提とするため、分割は不均等（例えば80/20または90/10）になることが多く、チャレンジャーが勝つためのハードルは高くなります。なぜなら、「より良い」を探しているだけではなく、「すでに実証済みのものより良い」を探しているからです。特定の縦型市場で勝ち広告を見つける方法を調査しているバイヤーは、同じ本能を認識するでしょう。競合他社の長期にわたって実行されているクリエイティブは、その広告主の現在のチャンピオンである可能性が高く、彼らがテストしているのを目にする新しいバリエーションは、それに対してオーディションを受けているチャレンジャーかもしれません。

競合データを活用してチャレンジャーを生み出す#

自分のアカウント以外でのチャンピオン/チャレンジャーの実用的な使用法の1つは、他の場所で既に生き残っているものを採掘することです。競合の広告がOutbrainやMGIDで数週間配信されているのが確認された場合、それは内部のチャレンジャーラウンドを既に生き残っている可能性が高いです。そのフックとアングルを研究することで、無作為な推測よりも強力なスタートチャレンジャーを得られます。これは、OpenAdLibraryの広告インテリジェンスツールが存在する理由の一部です。それにより、予算を費やして自分で発見する前に、市場全体のクリエイティブがどれくらいの期間配信されているのが確認されているかを見ることができ、これはどれが地位を保っているかの大まかな目安になります。

よくある間違い#

2つの失敗パターンは、サンプルサイズがそれを裏付ける前に早急に勝者を宣言すること、そして、チャレンジャーが明らかにそれを上回った後でも、感傷的または怠惰な理由でチャンピオンを実際に引退させないことです。両方とも予算を無駄にします。書かれたルール（例えば、結果を比較する前の最低支出額またはコンバージョン数、およびそのしきい値を超えた場合の自動交換）は、推測作業とノイズの多い初期の数字を目視確認する誘惑を取り除きます。