Holdout-testi (mainonta): Määritelmä ja käyttötarkoitukset

Holdout-testi on kokeellinen suunnittelumalli, jossa mainos tai markkinointitoimenpide pidätetään osalta kohderyhmästä (holdout-ryhmä), kun taas muu kohderyhmä jatkaa sen vastaanottamista. Tämän jälkeen tuloksia verrataan näiden kahden ryhmän välillä, jotta voidaan mitata toimenpiteen todellista vaikutusta. Se on kattotermi laajemmalle perheelle syy-seuraussuhteiden mittaamiseen käytetyistä kokeista mainonnassa, kattaa kaiken täydellisestä alueellisesta tauosta aina kapeaan näyttötaajuusrajan testiin.

Perusmekaniikka#

Jaa kohderyhmäsi kahteen mahdollisimman samanlaiseen ryhmään niiden ominaisuuksien perusteella, jotka ennustavat tulosmittaasi: aikaisempi ostokäyttäytyminen, alue, laitetyyppi tai mikä tahansa liiketoimintasi kannalta merkityksellinen tekijä. Yksi ryhmä, holdout-ryhmä, ei näe mainoksia (tai näkee niiden sijaan yleishyödyllisen viestin); toinen ryhmä näkee kampanjan normaalisti. Tietyn ajanjakson jälkeen vertaa konversioastetta, liikevaihtoa tai testaamaasi mittaria kahden ryhmän välillä. Ero, joka on oikaistu mahdollisten perustasoerojen vuoksi, on toimenpiteen lisävaikutus.

Miksi alustat rakentavat tämän sisään#

Useimmat suuret mainosalustat, joilla on self-serve demand-side platform, tarjoavat nykyään jonkinlaisen sisäänrakennetun konversiolisä- tai holdout-testauksen, koska mainostajat kysyivät jatkuvasti samaa kysymystä, johon heidän oma konversioseuranta-kojelautansa ei voinut rehellisesti vastata: olisivatko nämä konversiot tapahtuneet joka tapauksessa? Kojelauta, joka näyttää vahvan ROAS-numeron, raportoi liittyviä konversioita, ei välttämättä aiheutuneita konversioita, ja vain aito holdout-testi erottaa nämä kaksi.

Missä holdout-testejä käytetään koko funnelin läpi#

Koko kanavan holdout pysäyttää koko verkoston tai kanavan osalle käyttäjistä tai alueista – tämä on alueellisen lisäarvotestin suunnitteluperusta. Kampanjatason holdout pysäyttää yhden tietyn kampanjan, kun taas muut jatkavat, eristäen kyseisen kampanjan vaikutuksen kanavan perustasosta. Näyttötaajuusholdout rajoittaa, kuinka monta kertaa käyttäjä näkee mainoksen, ja vertaa sitten tuloksia rajoittamattomaan ryhmään. Tämä on hyödyllistä luovan väsymyksen ja vähenevien tuottojen mittaamisessa.

Käytännön rajoitteet#

Holdout-testin suorittaminen tarkoittaa, että tietoisesti ei näytetä mainoksia joillekin todellisille, osoitettaville asiakkaille testin keston ajan, mikä aiheuttaa todellisia lyhyen aikavälin kustannuksia. Tämä on kompromissi, jonka jokainen lisäarvoon keskittynyt tiimi hyväksyy: luovutaan osasta lähiaikavälin saavutettavuudesta ja liikevaihdosta vaihdettavissa luotettavaan vastaukseen siitä, toimivatko menot todella. Otoskoko on myös tärkeä. Holdout-testi tarvitsee tarpeeksi volyymia molemmissa ryhmissä havaitakseen tilastollisesti merkittävän eron; matalan liikenteen kanavan tai lyhyen kampanjan testaaminen tuottaa usein vain kohinaa, joka esitetään tuloksena.

Tuloksen oikea tulkinta#

Nollatulos, eli merkityksetön ero altistuneiden ja holdout-ryhmien välillä, on todellinen löydös, ei epäonnistunut testi. Se tarkoittaa, että kanava, ainakin kyseiselle kohderyhmälle ja kyseisellä ajanjaksolla, ei tuottanut lisäarvoa sen yli, mitä olisi tapahtunut joka tapauksessa. Ennen kanavan skaalaamista vahvojen raportoitujen numeroiden perusteella, tarkista, käyttävätkö kilpailijasi samalla vertikaalialalla myös runsaasti mainosmenoja siellä. Kanava, joka on täynnä pitkään käynnissä olevaa luovaa sisältöä (katso mainoksen pitkäikäisyys), on kohtuullinen indikaattori kanavasta, jossa holdout-testit yleensä vahvistavat todellisen lisäarvon. OpenAdLibraryn mainostiedustelu-alusta antaa sinun tarkistaa tämän aktiivisuuden verkoston ja vertikaalin mukaan ennen kuin sitoudut testibudjettiin.