Statistická významnost (testování reklam)

Statistická významnost při testování reklam znamená, že pozorovaný rozdíl mezi dvěma variantami v CTR, konverzním poměru nebo jakékoli jiné metrice pravděpodobně není výsledkem náhody, ale skutečného rozdílu ve výkonu. Odpovídá na otázku, kterou si dříve nebo později položí každý mediální nákupčí: je varianta B skutečně lepší, nebo měla jen štěstí s malým vzorkem?

Proč malé vzorky lžou#

Při pouhé hrstce kliknutí nebo konverzí může náhodná variace snadno udělat z průměrné reklamy na krátkou dobu vítěze a ze skutečně silné reklamy poraženého. Nadpis, který má skutečný konverzní poměr 3 %, může čistě náhodou vykazovat 0 % nebo 10 % při pouhých dvaceti návštěvnících. Testování významnosti zvažuje velikost vzorku, konverzní poměr a velikost pozorovaného rozdílu, aby odhadlo, jak je pravděpodobné, že výsledek vydrží s příchodem většího objemu provozu.

Jak to nákupčí aplikují bez statistického vzdělání#

Většina nepočítá matematiku ručně. Použijí bezplatnou kalkulačku významnosti, zadají počet návštěvníků a konverzí pro každou variantu a zkontrolují, zda úroveň spolehlivosti překročí práh, obvykle 90 % nebo 95 %, než vyhlásí vítěze. Praktické pravidlo, které za tím vším stojí: větší důvěru buduje více konverzí, ne jen více kliknutí. Test s tisíci kliknutí, ale jen s hrstkou konverzí na variantu, stále není spolehlivý, bez ohledu na to, jak dlouho běží.

Praktické pravidlo#

Neexistuje žádná univerzální minimální velikost vzorku, závisí na základním konverzním poměru a na tom, jak velký rozdíl se snažíte odhalit. Mnoho nákupčích považuje cokoli pod několik desítek konverzí na variantu za příliš slabé na důvěru a čeká na výrazně více, než přerozdělí vážný rozpočet. Na sítích s nižším objemem, jako je Revcontent nebo MediaGo, ve srovnání se sítí s vysokým objemem, jako je Taboola, může dosažení důvěryhodného vzorku trvat znatelně déle, což stojí za zvážení při rozhodování, jak agresivně ukončovat podprůměrné varianty.

Proč je to důležité i mimo vaše vlastní testy#

Stejná logika platí při posuzování konkurenční reklamy zvenčí. Kreativa, která běží jen dva dny, vám řekne mnohem méně než kreativa potvrzeně běžící týdny, což je důvod, proč dlouhověkost reklamy funguje jako hrubý externí ukazatel: reklama, která přežije tak dlouho, pravděpodobně již překonala svůj vlastní interní práh významnosti, i když nevidíte skutečná čísla inzerenta. OpenAdLibrary zaznamenává, jak dlouho byla každá zachycená kreativa pozorována napříč sítěmi, a poskytuje vám tento externí signál bez přístupu k něčímu dashboardu. Prozkoumejte to prostřednictvím platformy pro inteligenci reklam.

To je také důvod, proč by měli být nákupčí skeptičtí vůči senzačním případovým studiím, které tvrdí, že malý test přinesl obrovský nárůst. Velké procentuální výkyvy na malých vzorcích jsou přesně to, co produkuje náhodný šum, a legitimní výsledek by měl vydržet s růstem objemu, ne se jen jednou objevit a zmizet.