Champion / Challenger testování

Champion/challenger testování je metoda využívající živý provoz pro rozhodnutí, zda nová reklama, titulek nebo nastavení nabízení („challenger“) skutečně porazí vaši současnou nejlépe fungující variantu („champion“), než jej nahradíte. Místo slepého testování necháte svého osvědčeného vítěze běžet a část provozu rozdělíte na challengera, poté porovnáte výsledky za identických tržních podmínek.

Odkud název pochází#

Termín je starší než digitální reklama. Marketéři přímého mailingu a později bankovní a pojišťovací společnosti používali champion/challenger k popisu toho, jak kontrolní nabídka (champion) bránila své místo proti novým challengerům a ustoupila až poté, co se challenger prokázal na reálných datech o odezvě. Nativní a sociální reklamní platformy převzaly stejnou logiku, protože řeší skutečný problém: čisté A/B testy považují každou reklamu za neověřenou, ale v praxi téměř vždy máte existující reklamní kreativu, která již konvertuje.

Jak to funguje v nativní kampani#

Řekněme, že máte titulek, který tři týdny profitabilně běží na Taboola. Místo jeho pozastavení, abyste rovnoměrně otestovali pět nových háků, necháte championa získávat většinu rozpočtu a menší, pevný podíl provozu směrujete na jednoho nebo dva challengery. Sledujete náklady na akvizici a konverzní poměr na dostatečně velkém vzorku, abyste číslům věřili, ne jen den nebo dva. Pokud challenger porazí championa o významný rozdíl, stane se novým championem a cyklus se opakuje. Pokud ne, challengera ukončíte a vyzkoušíte další nápad, zatímco původní reklama celou dobu vydělává.

To je důležitější na sítích, jejichž algoritmy smart bidding potřebují pro optimalizaci objem a čas. Neustálé nahrazování vaší nejlépe fungující reklamy tuto optimalizaci resetuje a může také spustit novou fázi učení algoritmu, takže ochrana championa není jen konzervativní, ale často je i rychlejší cestou k celkovému výkonu účtu, což je dynamika podrobněji popsaná v článku jak fungují reklamy Taboola.

Champion/challenger vs. přímé A/B testování#

A/B testování obvykle znamená, že dvě neznámé varianty soutěží od začátku s rovnoměrným rozdělením. Champion/challenger předpokládá, že jedna strana již má prokázanou úspěšnost, takže rozdělení je často nerovnoměrné (např. 80/20 nebo 90/10) a laťka pro výhru challengera je vyšší, protože nehledáte jen „lepší“, ale hledáte „lepší než něco již osvědčeného“. Kupující zkoumající jak najít vítězné reklamy v odvětví poznají stejný princip: dlouho běžící kreativa konkurenta je pravděpodobně jeho současným championem a nové varianty, které jej vidíte testovat, mohou být challengeři, které proti němu zkouší.

Použití konkurenčních dat pro vytvoření challengerů#

Jedno praktické využití champion/challenger mimo váš vlastní účet je těžba z toho, co již přežívá jinde. Pokud byla reklama konkurenta pozorována v provozu po dobu několika týdnů napříč Outbrain nebo MGID, pravděpodobně přežila svá vlastní interní challenger kola. Studium jejího háku a úhlu pohledu vám dá silnějšího startovního challengera než náhodný odhad, což je část důvodu, proč existují nástroje pro reklamní inteligenci OpenAdLibrary: ukazují, jak dlouho byly kreativy napříč trhem pozorovány v provozu, což je hrubý signál toho, které z nich si udržely své místo, než sami utratíte rozpočet, abyste to zjistili.

Časté chyby#

Dva způsoby selhání jsou: vyhlášení vítěze příliš brzy, než velikost vzorku výsledky podpoří, a to, že championa ze sentimentálních nebo líných důvodů nikdy skutečně nevyřadíte, ani když jej challenger jasně překonal. Obojí plýtvá rozpočtem. Písemné pravidlo (například minimální utracená částka nebo počet konverzí před porovnáním výsledků a automatická výměna po překročení této hranice) odstraní odhady a pokušení posuzovat neprůkazná raná čísla.