Incrementální testování: Definice a princip fungování

Incrementální testování je kontrolovaný experiment, který odhaduje, jak velkou část konverzní aktivity hlášené pro reklamní kanál reklama skutečně způsobila, spíše než aby se spoléhal na konverze, které sledování platformy přisuzuje jejím reklamám. Zadržíte skupinu uživatelů nebo geografických oblastí před zobrazením reklam konkrétního kanálu a poté porovnáte výsledek se skupinou, která je viděla. Dobře navržený test čte mezeru mezi skupinami jako odhad přírůstkového efektu kanálu pro dané publikum, období a nastavení a uvádí ji spolu s mírou nejistoty; výsledky, které v kontrolní skupině zůstanou, jsou ty, k nimž došlo bez reklam.

Proč se čísla hlášená platformou mohou lišit od přírůstkových výsledků#

Reklamní platformy přisuzují konverze reklamám podle vlastních pravidel. Pokud už někdo chtěl koupit prostřednictvím organického vyhledávání nebo kliknutí na brandové vyhledávání a také se cestou stihl podívat na retargetingovou reklamu, standardní sledování konverzí může tento kredit stále připsat reklamě v rámci svého atribučního okna. Měkčí kredit, kdy platforma započítá konverzi poté, co někdo reklamu pouze viděl, tuto mezeru zvětšuje; tento mechanisms se nazývá view-through atribuce. Konverze, které platforma hlásí, tedy nejsou totéž jako konverze, které její reklamy způsobily. Incrementální testování klade jinou otázku: kdyby tento kanál neinzeroval, stala by se tato konverze i tak?

To je jiná otázka, než na kterou odpovídá samotný sledovací pixel, a proto se incrementální testování používá vedle dashboardů platforem, nikoli místo nich.

Jak ho týmy prakticky provádějí#

Používá se několik návrhů. Test na geografické úrovni přiřazuje regiony do testovací nebo kontrolní podmínky, například tak, že v některých regionech reklamy kanálu běží a v jiných jsou zadrženy, a porovnává výsledky, jako jsou prodeje nebo konverze, mezi regiony; geografické experimenty Google náhodně přiřazují nepřekrývající se regiony, zatímco Meta GeoLift sestavuje syntetickou kontrolu z neošetřených regionů. Test na úrovni uživatele využívá nástroje pro měření přínosu konverzí dané reklamní platformy: Meta Conversion Lift přiřazuje náhodně lidi do testovací skupiny, která reklamy vidí, a do kontrolní skupiny, která je nevidí, a Google Ads Conversion Lift nabízí studie na úrovni uživatelů i geografické, ačkoli Google uvádí, že není dostupný pro všechny účty.

Jak se efekt odhaduje, závisí na návrhu. V randomizovaném testu na úrovni uživatelů je odhadem rozdíl ve výsledcích mezi testovací skupinou a kontrolní skupinou, který lze uvést jako konverze navíc nebo jako procento nad kontrolní skupinou. Jako hypotetický příklad: pokud 10 000 testovacích uživatelů vytvoří 300 konverzí a 10 000 uživatelů v kontrolní skupině vytvoří 250, odhadovaný přírůstek je 50 konverzí, tedy 20 % nad kontrolní skupinou, i když platforma připsala všech 300 konverzí svým reklamám. Geografické testy se obvykle nespoléhají na toto prosté odečítání: porovnávají ošetřené regiony s tím, co by podle modelu, například syntetické kontroly sestavené z regionů bez reklam, vytvořily bez reklam. Kanál se silným platformou hlášeným ROAS může v testu vykázat mnohem menší přírůstkový efekt; jak velká mezera to je, závisí na kanálu, publiku a okně měření.

K čemu se používá#

Nákupčí médií používají incrementální testy k informování alokace rozpočtu napříč sítěmi, nejen k auditu jednoho kanálu izolovaně. Výsledek popisuje publikum, období a úroveň výdajů, které byly testovány.

Veřejné reklamní archivy nemohou měřit přírůstkový efekt. To, že byla reklama pozorována dlouho, neznamená, že způsobila konverze navíc, protože životnost reklam zaznamenává, jak dlouho byla reklama vidět, nikoli výdaje nebo výsledky. Co archivy mohou nabídnout, jsou hypotézy: stránky ad intelligence od OpenAdLibrary ukazují, které kreativy a sítě bylo u inzerenta pozorováno používat a jak dlouho, což vám může pomoci rozhodnout, co testovat s vlastní kontrolní skupinou, než se zavážete k testovacím výdajům na reklamu.

Časté chyby#

Kontrolní skupina musí být dostatečně velká a přiřazená náhodně nebo dostatečně pečlivě spárovaná, aby detekovala skutečný signál, a ne jen šum. Krátký test na kanálu s nízkým objemem nemusí mít dost konverzí k detekci efektu a dokumentace Meta GeoLift varuje, že spuštění geografického testu bez předchozí analýzy síly vede k vysoké pravděpodobnosti, že se přínos nepodaří najít, i když existuje. Sezónní špička nebo celostátní propagační akce sama o sobě randomizovaný test neznehodnocuje, protože ji zažívají obě skupiny, ale naměřený přínos pak popisuje toto období a nemusí platit v běžných týdnech. Událost, která zasáhne jen jednu skupinu, například regionální akce v geografickém testu, může výsledek zkreslit, proto udržujte ostatní marketing konstantní napříč testovacími a kontrolními regiony. Spusťte test během reprezentativního období, které pokrývá alespoň jeden nákupní cyklus, dimenzujte kontrolní skupinu pomocí výpočtu síly testu a nepřestávejte předčasně jen proto, že mezivýsledek vypadá dobře nebo špatně.