Champion / Challenger tesztelés

A champion/challenger tesztelés egy élő forgalmon alapuló módszer annak eldöntésére, hogy egy új hirdetés, címsor vagy licitbeállítás (a "kihívó") valóban legyőzi-e a jelenlegi legjobb teljesítményedet (a "bajnokot"), mielőtt lecserélnéd. A vak tesztelés helyett a bevált győztest futtatod tovább, és a forgalom egy részét a kihívó felé irányítod, majd az eredményeket azonos piaci körülmények között hasonlítod össze.

Honnan származik a név#

A kifejezés régebbi, mint a digitális hirdetés. A közvetlen levelezéses marketingesek, majd később a bankok és biztosítótársaságok használták a champion/challenger kifejezést annak leírására, hogyan védte meg egy kontroll ajánlat (a bajnok) a helyét az új kihívókkal szemben, és csak akkor adta át, ha egy kihívó valós válaszadatokon bizonyította magát. A natív és közösségi hirdetőplatformok ugyanezt a logikát kölcsönözték, mert ez megold egy valós problémát: a tiszta A/B tesztek minden hirdetést be nem bizonyítottként kezelnek, de a gyakorlatban szinte mindig van egy meglévő hirdetési kreatív, amely már konvertál.

Hogyan működik egy natív kampányban#

Tegyük fel, van egy címsorod, amely három hete profitálisan fut a Taboolán. Ahelyett, hogy leállítanád, hogy öt új fogást tesztelj egyenlő arányban, a bajnokot a költségvetés nagy részével futtatod tovább, és a forgalom egy kisebb, rögzített részét egy vagy két kihívó felé irányítod. Figyeled az akvizíciós költséget és a konverziós arányt egy elég nagy mintán, hogy bízz a számokban, nem csak egy-két napon. Ha egy kihívó jelentős különbséggel legyőzi a bajnokot, az lesz az új bajnok, és a ciklus ismétlődik. Ha nem, akkor megszünteted, és kipróbálod a következő ötletet, és az eredeti egész idő alatt keres.

Ez fontosabb azokon a hálózatokon, amelyek intelligens licitálási algoritmusaihoz mennyiségre és időre van szükség az optimalizáláshoz. A legjobban teljesítő hirdetés folyamatos cseréje visszaállítja ezt az optimalizálást, és új tanulási fázist is kiválthat az algoritmus számára, így a bajnok védelme nemcsak konzervatív, hanem gyakran a gyorsabb út a teljes fiókteljesítményhez, egy olyan dinamika, amelyet részletesebben is tárgyalunk a Taboola hirdetések működéséről szóló cikkben.

Champion/challenger vs. egyenes A/B tesztelés#

Az A/B tesztelés általában két ismeretlent jelent, amelyek hideg indításból versenyeznek egyenlő felosztással. A champion/challenger tesztelés feltételezi, hogy az egyik oldalon már van előzmény, így a felosztás gyakran egyenetlen (mondjuk 80/20 vagy 90/10), és a kihívó győzelméhez szükséges küszöb magasabb, mivel nemcsak a "jobbat" keresi, hanem a "jobbat, mint valami, ami már bevált". A hirdetők, akik kutatják, hogyan találjanak nyertes hirdetéseket egy szegmensben, felismerik ugyanazt az ösztönt: egy versenytárs hosszú ideje futó kreatívja valószínűleg az adott hirdető jelenlegi bajnoka, és az új variációk, amelyeket tesztelni látnak, lehetnek olyan kihívók, amelyeket a hirdető próbál ki ellene.

Versenytársi adatok felhasználása kihívók előállításához#

A champion/challenger tesztelésnek egy gyakorlati felhasználása a saját fiókodon kívül az, hogy kihasználod, ami máshol már túlél. Ha egy versenytárs hirdetését hetek óta futni látták az Outbrainen vagy az MGID-en, akkor valószínűleg túlélte a saját belső kihívó köreit. A fogásának és megközelítésének tanulmányozása erősebb kiindulási kihívót ad, mint egy hideg tipp, ami részben magyarázza, hogy az OpenAdLibrary hirdetési intelligencia eszközei miért léteznek: megmutatják, mennyi ideje látták futni a piac kreatívjait, ami durva jelzése annak, melyek tartották meg a helyüket, mielőtt költségvetést költenél arra, hogy magad találd ki.

Gyakori hibák#

A két kudarcmód a győztes túl korai kihirdetése, mielőtt a minta mérete alátámasztaná, és a bajnok soha nem történő nyugdíjazása, még akkor is, ha egy kihívó egyértelműen jobban teljesített, érzelmi vagy lustasági okokból. Mindkettő pazarlja a költségvetést. Egy írott szabály (például egy minimális költés vagy konverziószám az eredmények összehasonlítása előtt, és egy automatikus csere, ha ez a küszöb átlépődik) megszünteti a találgatást és a kísértést, hogy a korai zajos számokat szemre mérjük.