Champion / Challenger -testaus

Champion/challenger-testaus on reaaliaikaisen liikenteen menetelmä sen päättämiseksi, voittaako uusi mainos, otsikko tai tarjousasetus ("challenger") todella nykyisen parhaan suorittajasi ("champion"), ennen kuin korvaat sen. Sen sijaan, että testaisit sokkona, pidät todennetun voittajasi käynnissä ja jaat osan liikenteestä challengerille, minkä jälkeen vertaat tuloksia samoissa markkinaolosuhteissa.

Mistä nimi tulee#

Termi on vanhempi kuin digitaalinen mainonta. Suorapostimarkkinoijat ja myöhemmin pankit ja vakuutusyhtiöt käyttivät champion/challenger-termiä kuvaamaan, kuinka kontrollitarjous (champion) puolusti paikkaansa uusia challengereita vastaan, ja luovutti vasta, kun challenger todistautui aidoilla vastausdatoilla. Natiivi- ja sosiaalisen median mainosalustat lainasivat saman logiikan, koska se ratkaisee todellisen ongelman: puhtaissa A/B-testeissä kaikkia mainoksia käsitellään todentamattomina, mutta käytännössä käytössä on lähes aina olemassa oleva mainoskreatiivi, joka jo tuottaa konversioita.

Miten se toimii natiivikampanjassa#

Oletetaan, että sinulla on otsikko, joka on tuottanut voittoa Taboolassa kolmen viikon ajan. Sen sijaan, että pysäyttäisit sen ja testaisit viittä uutta koukkua tasapuolisesti, pidät championin saamassa suurimman osan budjetista ja ohjaat pienemmän, kiinteän osan liikenteestä yhteen tai kahteen challengeriin. Seuraat kustannusta per hankinta ja konversioprosenttia tarpeeksi suurella otannalla luottaaksesi numeroihin, ei vain päivän tai parin perusteella. Jos challenger voittaa championin merkittävällä marginaalilla, siitä tulee uusi champion ja sykli toistuu. Jos ei, sen voi lopettaa ja kokeilla seuraavaa ideaa, ja alkuperäinen ansaitsee koko ajan edelleen.

Tällä on suurempi merkitys verkostoilla, joiden älytarjousalgoritmit tarvitsevat volyymia ja aikaa optimoinnille. Parhaiten suoriutuvan mainoksen jatkuva korvaaminen nollaa sen optimoinnin ja voi myös laukaista tuoreen oppimisvaiheen algoritmille, joten championin suojeleminen ei ole vain konservatiivista, vaan usein nopeampi tie kohti yleistä tilisuorituskykyä – dynamiikka, jota käsitellään syvemmin artikkelissa miten Taboola-mainokset toimivat.

Champion/challenger vs. suora A/B-testaus#

A/B-testaus yleensä tarkoittaa kahta tuntematonta, jotka kilpailevat kylmästä startista tasajakoisesti. Champion/challenger olettaa, että toisella puolella on jo historiaa, joten jako on usein epätasainen (esim. 80/20 tai 90/10) ja challengerin voittokynnys on korkeampi, koska etsitään pelkän "paremman" sijaan "parempaa kuin jo todennettu". Ostajat, jotka tutkivat miten löytää voittavia mainoksia tietyssä segmentissä, tunnistavat saman vaiston: kilpailijan pitkään toiminut mainoskreatiivi on todennäköisesti kyseisen mainostajan nykyinen champion, ja uudet variaatiot, joita näet heidän testaavan, voivat olla challengereita, joita he kokeilevat sitä vastaan.

Kilpailijadata challengerien lähtökohtana#

Yksi käytännön käyttötapa champion/challenger-testaukselle oman tilin ulkopuolella on sen hyödyntäminen, mikä on jo selvinnyt muualla. Jos kilpailijan mainoksen on havaittu olleen viikkoja käynnissä Outbrainissa tai MGID:ssä, se on todennäköisesti selvinnyt omista sisäisistä challenger-kierroksistaan. Sen koukun ja kulman tutkiminen antaa sinulle vahvemman lähtökohdan challengerille kuin kylmä arvaus, mikä on osa syytä, miksi OpenAdLibraryn mainostiedustelutyökalut ovat olemassa: ne näyttävät, kuinka kauan markkinoiden mainoskreatiiveja on havaittu käynnissä – karkea merkki siitä, mitkä niistä ovat säilyttäneet asemansa – ennen kuin käytät budjettiasi sen selvittämiseen itse.

Yleiset virheet#

Kaksi epäonnistumismuotoa ovat voittajan julistaminen liian aikaisin, ennen kuin otoskoko tukee sitä, ja championin pitäminen käynnissä myös sen jälkeen, kun challenger on selvästi suoriutunut paremmin sentimentaalisista tai laiskoista syistä. Molemmat tuhlaavat budjettia. Kirjallinen sääntö (esim. vähimmäiskulutus tai konversiomäärä ennen tulosten vertailua, ja automaattinen vaihto, kun kynnys ylitetään) poistaa arvailun ja houkutuksen tulkita kohinaisia varhaisia numeroita.