Geo Lift Test: Definice a jak se provádí

Geo lift test je experiment měřící přírůstkovost, který zapne reklamní kanál v některých geografických regionech a vypne ho, nebo ho sníží, v párových kontrolních regionech, a pak porovná rozdíl v konverzích nebo prodejích mezi oběma skupinami, aby změřil skutečný, kauzální dopad kanálu. Je to nejběžnější způsob, jak testovat přírůstkový lift na kanálu, kde nelze čistě randomizovat na úrovni jednotlivého uživatele.

Jak je test navržen#

Začnete rozdělením cílových regionů, států, DMAs nebo zemí v závislosti na rozsahu na testovací skupinu a kontrolní skupinu, které jsou co nejlépe spárovány podle vlastností jako populace, historický objem prodejů, minulá reakce na geo targeting a sezónnost. Testovací skupina dostane reklamní rozpočet; kontrolní skupina ne, nebo dostane pevnou základní úroveň, zatímco testovací skupina dostane navýšení. Po spuštění po stanovené období, obvykle 4 až 8 týdnů v závislosti na prodejním cyklu, porovnáte procentuální změnu ve výsledkové metrice mezi oběma skupinami. Rozdíl, upravený o případný předem existující rozdíl mezi regiony, je váš odhadovaný lift.

Proč na geo úrovni místo na úrovni uživatele#

Geo testy se vyhýbají potřebě identifikátoru na úrovni jednotlivce, protože porovnávají agregované výsledky pro celý region, nikoli sledují cestu konkrétní osoby. To dělá geo testy užitečnými pro kanály, kde je individuální sledování nespolehlivé, a pro kanály jako native advertising widgety, které se zobrazují na mnoha nesouvisejících publisherech, kde se sledování na úrovni session stává nepřehledným. Je to také standardní metoda pro měření kanálů, které nelze vypnout pro jednoho uživatele bez ovlivnění všech v okolí, jako je TV, rádio a některé programmatické nákupy umístěné přes demand-side platform.

Co se může pokazit#

Špatně spárované kontrolní regiony jsou nejčastější příčinou selhání. Pokud má váš testovací region jinou sezónnost, jinou přítomnost konkurence nebo jiný základní růstový trend než váš kontrolní region, "lift", který změříte, může být jen regionální šum, nikoli efekt vašeho reklamního kanálu. Testy také potřebují dostatek základního objemu konverzí v každém regionu, aby zachytily skutečný signál; test běžící na trhu s hrstkou prodejů týdně bude mít potíže prokázat statistickou významnost bez ohledu na to, jak dlouho ho spustíte. Spuštění geo testu během celofiremní akce nebo významného sezónního špičky, jako je období Black Friday, kontaminuje výsledky pro obě skupiny stejně.

Jak souvisí s jiným měřením liftu#

Měkčí doprovodné měření se ptá na posuny v povědomí nebo přízni pomocí průzkumů spíše než tvrdého čísla konverze a obvykle běží na úrovni imprese, nikoli geo úrovni. Statistické modely postavené na historických datech o ad spend a conversion tracking, které běží nepřetržitě napříč všemi kanály najednou, mohou zahrnout výsledky z geo testu jako kalibrační bod, ukotvující model ke skutečnému experimentálnímu výsledku, místo aby se spoléhaly čistě na historickou korelaci.

Než se zavážete k rozpočtu na několik týdnů trvající geo test na nativní ad network, stojí za to zkontrolovat, jaký objem kreativ a jak dlouho ta kreativa obvykle běží, viz ad longevity, je již aktivní ve vašich cílových regionech. Nástroje ad intelligence od OpenAdLibrary rozkládají aktivitu sítě podle geografie, což pomáhá stanovit realistická očekávání, kolik liftu může daný trh skutečně vyprodukovat.