Champion / Challenger 테스트

Champion/challenger 테스트는 새로운 광고, 헤드라인 또는 입찰 설정("챌린저")이 현재 최고의 성과자("챔피언")를 실제로 이기는지 확인한 후 교체하기 위한 실시간 트래픽 방법입니다. 맹목적으로 테스트하는 대신, 검증된 승자를 계속 실행하고 트래픽의 일부를 챌린저로 분할한 후 동일한 시장 조건에서 결과를 비교합니다.

용어의 유래#

이 용어는 디지털 광고보다 역사가 깁니다. 다이렉트 메일 마케터와 이후 은행 및 보험 회사들은 컨트롤 오퍼(챔피언)가 새로운 챌린저들에 맞서 자리를 지키다가, 챌린저가 실제 반응 데이터로 자신을 증명한 후에만 물러나는 방식을 설명하기 위해 champion/challenger를 사용했습니다. 네이티브 및 소셜 광고 플랫폼들은 동일한 논리를 차용했는데, 이는 실제 문제를 해결하기 때문입니다: 순수한 A/B 테스트는 모든 광고를 검증되지 않은 것으로 취급하지만, 실제로는 이미 전환을 일으키고 있는 기존 광고 크리에이티브가 거의 항상 존재합니다.

네이티브 캠페인에서의 작동 방식#

Taboola에서 3주 동안 수익성 있게 실행되어 온 헤드라인이 있다고 가정해 보세요. 이를 중지하고 5개의 새로운 후크를 균등하게 테스트하는 대신, 챔피언이 예산의 대부분을 받도록 유지하고 트래픽의 더 작고 고정된 비율을 하나 또는 두 개의 챌린저로 라우팅합니다. 하루 이틀만이 아니라 충분히 큰 샘플을 통해 신뢰할 수 있는 숫자로 CPA와 전환율을 관찰합니다. 챌린저가 챔피언을 의미 있는 차이로 이기면 새로운 챔피언이 되고 사이클이 반복됩니다. 그렇지 않으면 챌린저를 제거하고 다음 아이디어를 시도하며, 원본은 그동안 계속 수익을 창출합니다.

이는 스마트 입찰 알고리즘이 최적화를 위해 볼륨과 시간이 필요한 네트워크에서 더 중요합니다. 최고 성과 광고를 지속적으로 교체하면 해당 최적화가 초기화되고 알고리즘의 새로운 학습 단계를 촉발할 수 있으므로, 챔피언을 보호하는 것은 보수적일 뿐만 아니라 종종 전체 계정 성과로 가는 더 빠른 경로입니다. 이 역학 관계는 Taboola 광고 작동 방식에서 더 깊이 다루고 있습니다.

Champion/challenger vs. 일반 A/B 테스트#

A/B 테스트는 일반적으로 두 개의 미지수가 동등한 분할로 콜드 스타트에서 경쟁한다는 것을 의미합니다. Champion/challenger 테스트는 한쪽에 이미 실적 기록이 있다고 가정하므로, 분할은 종종 불균등(예: 80/20 또는 90/10)이며 챌린저가 승리하기 위한 기준이 더 높습니다. 단순히 "더 나은" 것을 찾는 것이 아니라 "이미 검증된 것보다 더 나은" 것을 찾기 때문입니다. 특정 업종에서 승리하는 광고를 찾는 방법을 연구하는 구매자들은 동일한 본능을 인식할 것입니다: 경쟁사의 오랫동안 실행된 크리에이티브는 해당 광고주의 현재 챔피언일 가능성이 높으며, 그들이 테스트하는 것으로 보이는 새로운 변형은 그에 맞서 오디션을 보는 챌린저일 수 있습니다.

경쟁 데이터를 활용하여 챌린저 생성하기#

자신의 계정 외부에서 champion/challenger를 활용하는 실용적인 방법 중 하나는 다른 곳에서 이미 생존하고 있는 것을 채굴하는 것입니다. 경쟁사의 광고가 Outbrain 또는 MGID에서 몇 주 동안 실행되는 것이 관찰되었다면, 그것은 자체 내부 챌린저 라운드에서 살아남았을 가능성이 높습니다. 그 후크와 각도를 연구하면 맹목적인 추측보다 더 강력한 시작 챌린저를 제공합니다. 이것이 바로 OpenAdLibrary의 광고 인텔리전스 도구가 존재하는 이유 중 일부입니다: 이 도구들은 예산을 소모하여 직접 알아내기 전에 시장 전반의 크리에이티브가 얼마나 오래 실행되는 것으로 관찰되었는지 보여주며, 이는 어떤 크리에이티브가 자리를 지켜 왔는지에 대한 대략적인 신호가 됩니다.

흔한 실수들#

두 가지 실패 모드는 샘플 크기가 이를 뒷받침하기 전에 너무 일찍 승자를 선언하는 것과, 챌린저가 분명히 더 나은 성과를 냈음에도 감정적이거나 게으른 이유로 챔피언을 실제로 퇴역시키지 않는 것입니다. 둘 다 예산을 낭비합니다. 서면 규칙(예: 결과 비교 전 최소 지출 또는 전환 수, 그리고 그 임계값을 넘은 후 자동 교체)은 추측 작업과 노이즈가 많은 초기 숫자를 육안으로 판단하려는 유혹을 제거합니다.