Holdout Test (Annonsering): Definisjon og Bruksområder

En holdout test er et eksperimentdesign som utelukker en annonse eller en markedsføringsbehandling for en del av din målgruppe, holdout-gruppen, mens resten av målgruppen fortsetter å motta den, og sammenligner deretter resultatene mellom de to gruppene for å måle behandlingens reelle effekt. Det er paraplybegrepet for den bredere familien av kausalitetsmålingseksperimenter som brukes i annonsering, og dekker alt fra en full regional pause til en smal frekvensbegrensningstest.

De grunnleggende mekanismene#

Del din målgruppe i to grupper som er så like som mulig på egenskapene som forutsier din resultatmetrikk: tidligere kjøpsatferd, region, enhetstype, hva som enn betyr noe for din virksomhet. Én gruppe, holdout-gruppen, ser ingen annonser (eller en offentlig tjenestemelding i deres sted); den andre gruppen ser kampanjen som normalt. Etter en fastsatt periode sammenligner du konverteringsraten, inntekten eller hvilken som helst metrikk du tester mellom de to gruppene. Forskjellen, justert for eventuelle grunnlinjeforskjeller mellom gruppene, er behandlingens inkrementelle effekt.

Hvorfor plattformer bygger dette inn#

De fleste store annonseplattformer med en selvbetjent demand-side platform tilbyr nå en eller annen form for innebygd konverteringsløft- eller holdout-testing, fordi annonsører fortsatte å stille det samme spørsmålet som deres egen konverteringssporingsdashbord ikke kunne svare ærlig på: ville disse konverteringene ha skjedd uansett? Et dashbord som viser et sterkt ROAS-tall rapporterer assosierte konverteringer, ikke nødvendigvis forårsakede, og bare en ekte holdout skiller de to.

Hvor holdout tester brukes langs konverteringsfunnelet#

En full kanal-holdout setter en helt nettverk eller kanal på pause for en undergruppe av brukere eller regioner, designet bak en regional løftetest. En kampanjenivå-holdout setter én spesifikk kampanje på pause mens andre fortsetter, og isolerer den kampanjens effekt fra kanalens grunnlinje. En frekvensholdout begrenser hvor mange ganger en bruker ser en annonse, og sammenligner deretter resultatene mot en ubegrenset gruppe, nyttig for å måle kreativ utmattelse og avtagende avkastning.

Praktiske begrensninger#

Å kjøre en holdout test betyr å bevisst ikke vise annonser til noen ekte, adresserbare kunder i testperioden, noe som har en reell kortsiktig kostnad. Det er avveiningen hvert inkrementelt orientert team godtar: gi opp noe nært rekkevidde og inntekt i bytte mot et pålitelig svar om hvorvidt bruken faktisk fungerer. Utvalgsstørrelse betyr også noe. En holdout trenger nok volum i begge grupper for å oppdage en statistisk meningsfull forskjell; testing av en kanal med lav trafikk eller en kort kampanje produserer ofte bare støy forkledd som et resultat.

Å lese resultatet korrekt#

Et nullresultat, ingen meningsfull forskjell mellom eksponerte og holdout-grupper, er et reelt funn, ikke en mislykket test. Det betyr at kanalen, i hvert fall for den målgruppen og den perioden, ikke la til inkrementell verdi utover det som ville ha skjedd uansett. Før du skalerer en kanal basert på sterke rapporterte tall, sjekk om konkurrenter i din bransje også kjører tung annonsebruk der, siden en kanal fullpakket med langvarig kreativt innhold, se annonsens levetid, er et rimelig substitutt for en der holdout tester tenderer til å bekrefte reelt løft. OpenAdLibrary's annonseintelligensplattform lar deg sjekke den aktiviteten etter nettverk og bransje før du forplikter testbudsjett.