Inkrementell testing: Definisjon og hvordan det fungerer

Inkrementell testing er et kontrollert eksperiment som anslår hvor mye av konverteringsaktiviteten som rapporteres for en annonsekanal, annonseringen faktisk forårsaket, i stedet for å stole på konverteringene som plattformens sporing tilskriver annonsene. Du holder tilbake en gruppe brukere eller geografier fra å se en spesifikk kanals annonser, og sammenligner deretter resultatet med en gruppe som så dem. En godt utformet test leser gapet mellom gruppene som et anslag på kanalens inkrementelle effekt for det publikumet, den perioden og det oppsettet, rapportert med usikkerheten sin; utfallene som gjenstår i kontrollgruppen, er de som skjedde uten annonsene.

Hvorfor plattformrapporterte tall kan avvike fra inkrementelle resultater#

Annonseplattformer tilskriver konverteringer til annonser etter sine egne regler. Hvis noen allerede skulle kjøpe via organisk søk eller et merkesøkeklikk, og også tilfeldigvis så en remarketingannonse underveis, kan standard konverteringssporing fortsatt gi den annonsen kreditten innenfor dens attribueringsvindu. Mykere kreditt, der en plattform teller en konvertering etter at noen bare så en annonse, øker gapet; den mekanikken kalles gjennom-visningsattribuering. Konverteringene en plattform rapporterer, er derfor ikke det samme som konverteringene annonsene forårsaket. Inkrementell testing stiller et annet spørsmål: hvis denne kanalen ikke hadde annonsert, ville konverteringen fortsatt ha skjedd?

Det er et annet spørsmål enn det en sporingpixel svarer på alene, så inkrementell testing brukes ved siden av plattformdashbordene, ikke i stedet for dem.

Hvordan team kjører det i praksis#

Det brukes flere design. En geografisk test tildeler regioner til en test- eller kontrollbetingelse, for eksempel ved å kjøre en kanals annonser i noen regioner og holde dem tilbake i andre, og sammenligner utfall som salg eller konverteringer mellom regionene; Googles geografiske eksperimenter tildeler ikke-overlappende regioner tilfeldig, mens Metas GeoLift bygger en syntetisk kontroll fra regioner uten behandling. En brukernivåtest bruker en annonseplattforms verktøy for konverteringsøkning: Metas Conversion Lift tildeler tilfeldig personer til en testgruppe som ser annonsene, og en kontrollgruppe som ikke gjør det, og Google Ads Conversion Lift tilbyr brukerbaserte og geografibaserte studier, selv om Google sier at det ikke er tilgjengelig for alle kontoer.

Hvordan effekten estimeres, avhenger av designet. I en randomisert brukernivåtest er anslaget forskjellen i utfall mellom testgruppen og kontrollgruppen, som kan rapporteres som ekstra konverteringer eller som en prosentandel over kontrollgruppen. Som et hypotetisk eksempel: hvis 10 000 testbrukere gir 300 konverteringer og 10 000 kontrollbrukere gir 250, er den estimerte økningen 50 konverteringer, eller 20% over kontrollgruppen, selv om plattformen tilskrev alle 300 konverteringene til annonsene sine. Geografiske tester stoler vanligvis ikke på den enkle subtraksjonen: de sammenligner behandlede regioner med det en modell, for eksempel en syntetisk kontroll bygget fra ubehandlede regioner, sier de ville ha produsert uten annonsene. En kanal med en sterk plattformrapportert ROAS kan vise en mye mindre inkrementell effekt i en test; hvor stort gapet er, avhenger av kanalen, publikumet og målevinduet.

Hva det brukes til#

Mediekjøpere bruker inkrementelle tester for å informere budsjettallokering på tvers av nettverk, ikke bare for å revidere én kanal isolert. Et resultat beskriver publikumet, perioden og forbruksnivået som ble testet.

Offentlige annonsearkiver kan ikke måle inkrementalitet. En annonse som ble observert over lang tid, viser ikke at den forårsaket ekstra konverteringer, fordi annonselang levetid registrerer hvor lenge en annonse ble sett, ikke forbruk eller resultater. Det arkivene kan tilby, er hypoteser: OpenAdLibrarys annonseintelligens-sider viser hvilke kreative varianter og nettverk en annonsør er observert med, og hvor lenge, noe som kan hjelpe deg med å bestemme hva du skal teste med din egen kontrollgruppe før du forplikter test-annonseforbruk.

Vanlige feil#

Kontrollgruppen må være stor nok, og tildelt tilfeldig eller matchet nøye nok, til å oppdage et reelt signal og ikke bare støy. En kort test på en kanal med lavt volum har kanskje ikke nok konverteringer til å oppdage en effekt, og Metas GeoLift-dokumentasjon advarer om at det å kjøre en geografisk test uten en forutgående styrkeanalyse gir høy sannsynlighet for å ikke finne en økning selv når den finnes. En sesongmessig topp eller en helnettstedskampanje gjør ikke i seg selv en randomisert test ugyldig, fordi begge gruppene opplever den, men den målte økningen beskriver da den perioden og holder kanskje ikke i normale uker. En hendelse som bare når én gruppe, for eksempel en regional kampanje i en geografisk test, kan gjøre resultatet skjevt, så hold annen markedsføring konstant på tvers av test- og kontrollregioner. Kjør testen i en representativ periode som dekker minst én kjøpssyklus, dimensjoner kontrollgruppen med en styrkeberegning, og ikke stopp tidlig bare fordi det foreløpige tallet ser bra eller dårlig ut.