Holdout Test (Reklame): Definition & Anvendelser

En holdout test er et eksperimentdesign, der undlader at vise en annonce eller en marketingbehandling for en del af dit publikum, holdout-gruppen, mens resten af publikummet fortsat modtager den, og derefter sammenligner resultaterne mellem de to grupper for at måle behandlingens reelle effekt. Det er paraplybetegnelsen for den bredere familie af kausale målingseksperimenter, der bruges i reklamer, og dækker alt fra en fuld regional pause til en snæver frekvensbegrænsningstest.

De grundlæggende mekanismer#

Opdel dit publikum i to grupper, der er så ens som muligt på de træk, der forudsiger din resultatmåling: tidligere købsadfærd, region, enhedstype, hvad end der betyder noget for din virksomhed. Den ene gruppe, holdout-gruppen, ser ingen annoncer (eller en offentlig servicebesked i stedet); den anden gruppe ser kampagnen som normalt. Efter en fastsat periode sammenlignes konverteringsraten, omsætningen eller den metrik, du tester, mellem de to grupper. Forskellen, justeret for eventuelle baseline-forskelle mellem grupperne, er behandlingens inkrementelle effekt.

Hvorfor platforme bygger dette ind#

De fleste større annonceplatforme med en selvbetjenings-demand-side platform tilbyder nu en form for indbygget konverteringsløft- eller holdout-testing, fordi annoncører fortsat stiller det samme spørgsmål, som deres egen konverteringssporings- dashboard ikke ærligt kunne besvare: ville disse konverteringer være sket alligevel? Et dashboard, der viser et stærkt ROAS-tal, rapporterer associerede konverteringer, ikke nødvendigvis forårsagede, og kun en ægte holdout adskiller de to.

Hvor holdout tests bruges på tværs af tragtens faser#

En fuldkanals-holdout sætter en helt pause for et helt netværk eller en kanal for en delmængde af brugere eller regioner, designet bag en regional løftetest. En kampagneniveau-holdout sætter en specifik kampagne på pause, mens andre fortsætter, og isolerer den kampagnes effekt fra kanalens baseline. En frekvensholdout begrænser, hvor mange gange en bruger ser en annonce, og sammenligner derefter resultater med en ubegrænset gruppe, nyttigt til at måle kreativ udmattelse og aftagende afkast.

Praktiske begrænsninger#

At køre en holdout test betyder bevidst ikke at vise annoncer til nogle rigtige, adresserbare kunder i testens varighed, hvilket har en reel kortvarig omkostning. Det er den afvejning, hvert team fokuseret på inkrementel effekt accepterer: opgiv noget nær-rekkevidde og omsætning til gengæld for et troværdigt svar på, om udgifterne faktisk virker. Stikprøvestørrelse betyder også noget. En holdout har brug for nok volumen i begge grupper til at opdage en statistisk signifikant forskel; at teste en kanal med lav trafik eller en kort kampagne producerer ofte bare støj forklædt som et resultat.

Læsning af resultatet korrekt#

Et nulresultat, ingen meningsfuld forskel mellem eksponerede og holdout-grupper, er et reelt fund, ikke en mislykket test. Det betyder, at kanalen, i det mindste for det publikum og den periode, ikke tilførte inkrementel værdi ud over det, der ville være sket alligevel. Før du skalerer en kanal baseret på stærke rapporterede tal, skal du tjekke, om konkurrenter i din branche også kører tungt annoncebudget der, da en kanal fyldt med længekørende kreativt indhold, se annoncelang levetid, er et rimeligt proxy for en, hvor holdout tests har tendens til at bekræfte reelt løft. OpenAdLibrary's annonceintelligens- platform lader dig tjekke den aktivitet efter netværk og branche, før du forpligter testbudget.