Incrementální testování: Definice a princip fungování

Incrementální testování je kontrolovaný experiment, který měří, jak velkou část vašich nahlášených konverzí reklamní kanál skutečně způsobí, spíše než kolik konverzí si pixel platformy prostě nárokuje. Zadržíte skupinu uživatelů nebo geografických oblastí před zobrazením reklam konkrétního kanálu a poté porovnáte výsledek se skupinou, která je viděla. Jakákoli mezera, která mezi oběma skupinami zůstane, je skutečným, přírůstkovým příspěvkem kanálu. Vše ostatní jsou konverze, které by se stejně staly.

Proč čísla hlášená platformou nadhodnocují výsledky#

Každá reklamní síť chce získat zásluhu za prodej. Pokud už někdo chtěl koupit prostřednictvím organického vyhledávání nebo kliknutí na brandové vyhledávání a také se cestou stihl podívat na retargetingovou reklamu, standardní sledování konverzí může tento kredit stále připsat reklamě v rámci svého atribučního okna. Dokonce i měkčí kredit, kdy platforma započítá konverzi poté, co někdo reklamu pouze viděl, tento problém umocňuje; tento mechanismus se nazývá view-through atribuce. Incrementální testování tento šum odstraní tím, že položí přímočařejší otázku: kdyby tento kanál tento měsíc utratil nula dolarů, stala by se tato konverze i tak?

To je jiná otázka, než na kterou odpovídá samotný sledovací pixel, a proto týmy s měsíčními rozpočty na nativní nebo sociální reklamu v řádu šesti číslic nakonec vedle svých dashboardů platforem budují program incrementálního testování, nikoli místo nich.

Jak ho týmy prakticky provádějí#

Dva návrhy pokrývají většinu reálných případů. Test na geografické úrovni úplně pozastaví kanál v sadě spárovaných regionů a porovná míru konverze s regiony, kde se výdaje pokračovaly. Test na úrovni uživatele využívá vestavěné nástroje pro měření přínosu konverzí, které nativně nabízí několik demand-side platforem, k zadržení reklam před náhodným výsekem publika.

V obou případech je matematika stejná: přírůstkový přínos se rovná míře konverze testovací skupiny minus míra konverze kontrolní skupiny. Kanál, který v rámci platformy vykazuje silný vlastními silami hlášený ROAS, může po vyčištění kontrolní skupiny, která odstraní uživatele, kteří by konvertovali bez ohledu na to, ukázat téměř nulový přírůstkový přínos.

K čemu se používá#

Nákupčí médií provádějí incrementální testy, aby rozhodli o alokaci rozpočtu napříč sítěmi, nejen aby auditovali jeden kanál izolovaně. Vzorec, který vidíme napříč indexem: značky, které současně spouštějí stejný kreativní úhel napříč několika sítěmi, často předpokládají, že všechny přispívají, zatímco test přínosu ukáže, že jeden kanál většinou jen znovu zachycuje poptávku, kterou už vytvořil jiný.

Před spuštěním formálního testu většina týmů začíná sledováním toho, co konkurenti v jejich vertikále skutečně škálují, protože kanál přeplněný dlouhou životností reklam je slušným proxy pro místo, kde má přírůstkový rozpočet tendenci fungovat. Nástroje ad intelligence od OpenAdLibrary vám umožní zkontrolovat překryv kreativ a dobu běhu napříč sítěmi, než se zavážete k testovacímu reklamnímu rozpočtu pro kontrolní skupinu.

Časté chyby#

Kontrolní skupina musí být dostatečně velká a dostatečně náhodná, aby detekovala skutečný signál, nejen šum. Týdenní test na kanálu s nízkým objemem obvykle nemůže dosáhnout statistické významnosti. Týmy také často spouštějí test během sezónního špičky nebo celostátní propagační akce, což kontaminuje obě skupiny stejně a činí číslo přínosu bezvýznamným. Spusťte test během reprezentativního období, dimenzujte kontrolní skupinu pomocí správného výpočtu síly testu a nepřestávejte předčasně jen proto, že mezivýsledek vypadá dobře nebo špatně.