Holdout Test (Reklama): Definice a Použití

Holdout test je experimentální design, který záměrně nezobrazuje reklamu nebo marketingový podnět části vašeho publika (holdout skupině), zatímco zbytek publika ji nadále přijímá. Následně porovnává výsledky mezi oběma skupinami, aby změřil skutečný efekt daného podnětu. Jde o zastřešující termín pro širší rodinu kauzálních měřicích experimentů používaných v reklamě, která pokrývá vše od úplného regionálního pozastavení až po úzký test frekvenčního limitu.

Základní principy#

Rozdělte své publikum do dvou skupin, které jsou co nejpodobnější z hlediska vlastností, které předpovídají váš cílový metrik: minulé nákupní chování, region, typ zařízení – cokoli, co je pro váš byznys důležité. Jedna skupina, holdout, neuvidí žádné reklamy (nebo uvidí veřejnou služební zprávu); druhá skupina uvidí kampaň normálně. Po stanoveném období porovnejte konverzní míru, výnosy nebo jakýkoli testovaný metrik mezi oběma skupinami. Rozdíl, upravený o případnou základní mezeru mezi skupinami, je přírůstkový efekt daného podnětu.

Proč to platformy integrují#

Většina hlavních reklamních platforem s self-serve demand-side platformou nyní nabízí nějakou formu vestavěného testování přírůstku konverzí nebo holdout testu, protože inzerenti stále kladli stejnou otázku, na kterou jejich vlastní dashboard pro sledování konverzí nemohl upřímně odpovědět: Staly by se tyto konverze tak jako tak? Dashboard ukazující silné číslo ROAS reportuje přidružené konverze, ne nutně způsobené, a pouze skutečný holdout test tyto dva typy oddělí.

Kde se holdout testy používají napříč funnel#

Celokanálový holdout pozastaví celou síť nebo kanál pro podmnožinu uživatelů nebo regionů – to je design stojící za regionálním lift testem. Holdout na úrovni kampaně pozastaví jednu konkrétní kampaň, zatímco ostatní pokračují, čímž izoluje efekt této kampaně od základního efektu kanálu. Frekvenční holdout omezí, kolikrát uživatel reklamu uvidí, a pak porovná výsledky se skupinou bez omezení. To je užitečné pro měření únavy kreativy a klesajících výnosů.

Praktická omezení#

Provádění holdout testu znamená záměrně nezobrazovat reklamy některým skutečným, adresovatelným zákazníkům po dobu trvání testu, což má reálné krátkodobé náklady. To je kompromis, který každý tým zaměřený na přírůstkový efekt přijímá: vzdát se části krátkodobého dosahu a výnosů výměnou za důvěryhodnou odpověď na otázku, zda daný rozpočet skutečně funguje. Důležitý je také vzorkový objem. Holdout potřebuje dostatečný objem v obou skupinách, aby detekoval statisticky významný rozdíl; testování kanálu s nízkým provozem nebo krátké kampaně často produkuje pouze šum vydávaný za výsledek.

Správná interpretace výsledku#

Nulový výsledek, tedy žádný významný rozdíl mezi vystavenou a holdout skupinou, je skutečným zjištěním, nikoli neúspěšným testem. Znamená to, že daný kanál, alespoň pro toto publikum a toto období, nepřidával žádnou přírůstkovou hodnotu nad rámec toho, co by se stalo tak jako tak. Před škálováním kanálu na základě silných reportovaných čísel zkontrolujte, zda tam také konkurenti ve vašem vertikálu neprovozují vysoké reklamní výdaje, protože kanál přeplněný dlouho běžící kreativou (viz dlouhověkost reklamy) je rozumným ukazatelem toho, kde holdout testy obvykle potvrzují skutečný lift. Platforma pro ad intelligence od OpenAdLibrary vám umožňuje tuto aktivitu zkontrolovat podle sítě a vertikálu, než se zavážete k testovacímu rozpočtu.