A/B testování (reklamy)

A/B testování v reklamě znamená spouštět dvě varianty, jako je kreativa reklamy, titulek nebo vstupní stránka, proti sobě za stejných podmínek, abyste změřili, která z nich dosahuje lepších výsledků podle definované metriky. Název pochází z označení dvou verzí jako A a B; vše ostatní, jako je targeting, rozpočet, načasování, zůstává konstantní, takže rozdíl ve výsledcích lze připsat té jedné změně.

Základní požadavek: jedna proměnná najednou#

Čistý A/B test mění mezi variantami právě jeden prvek. Testování nového titulku, nového obrázku a nového kreativního úhlu současně vám řekne, zda kombinace fungovala, nebo ne, ale ne který konkrétní prvek výsledek způsobil. Testování nativních reklam v reálném světě je často chaotičtější než učebnicová verze, protože zadavatelé chtějí postupovat rychle, ale nejčistší signál stále pochází z izolace jedné proměnné.

Která metrika rozhoduje o vítězi#

Na tom, která metrika je důležitá, závisí cíl. Test optimalizovaný pouze na CTR může vybrat vítěze, který získává kliknutí, ale nekonvertuje, takže většina zkušených zadavatelů klade větší váhu na konverzní poměr nebo CPA než na samotný objem kliknutí. Kreativní testování je širší praxe, do které toto zapadá; A/B testování je konkrétní metoda porovnávání právě dvou variant najednou, na rozdíl od spouštění mnoha variant současně v multivariačním testu.

Jak se vyhnout falešným vítězům#

Nejčastější chybou je prohlášení vítěze předtím, než je velikost vzorku dostatečně velká pro statistickou spolehlivost, což znamená, že pozorovaný rozdíl může snadno být náhodný šum, nikoli skutečný rozdíl. Varianta, která "vyhrává" po čtyřiceti kliknutích, se může snadno obrátit po čtyřech stech. Počkání na dostatečný objem a ideálně spuštění testu po více než jeden den, aby se vyhladily vlivy konkrétního dne v týdnu, chrání před přesunem rozpočtu na náhodný výsledek.

Konkrétně v nativní reklamě#

Nativní sítě jako Taboola, Outbrain a MGID typicky A/B testují na úrovni kreativ v rámci jedné kampaně a nechávají vlastní algoritmus platformy automaticky přidělovat více impresí lépe fungující variantě, jakmile se nahromadí dostatečný vzorek. Zadavatelé zkoumající jak fungují reklamy Taboola nebo jak inzerovat na Taboola se s touto vestavěnou testovací vrstvou setkají přímo v reklamní platformě, navíc k jakémukoli ručnímu testování, které provádějí sami.

Pozorování, které kreativní varianty konkurent spouští vedle sebe, je jedním z nejjasnějších živých signálů probíhajícího A/B testu. Platforma pro analýzu reklam od OpenAdLibrary zobrazuje každou aktivní variantu pro značku, takže můžete sledovat, která přežije.

Rychlá kontrola před spuštěním#

Před spuštěním jakéhokoli A/B testu potvrďte, že výpočet velikosti vzorku zhruba dává smysl pro váš denní rozpočet a konverzní poměr nabídky. Test, který by při současné úrovni výdajů trval šest týdnů, než dosáhne spolehlivého vzorku, pravděpodobně potřebuje větší přidělení rozpočtu nebo delší plánované testovací období předem, nikoli rozhodnutí uprostřed testu učiněné z netrpělivosti.