Inkrementell testing: Definisjon og hvordan det fungerer

Inkrementell testing er et kontrollert eksperiment som måler hvor mye av dine rapporterte konverteringer en annonsekanal faktisk forårsaker, i stedet for hvor mange konverteringer plattformens pixel ganske enkelt tar kreditt for. Du holder tilbake en gruppe brukere eller geografier fra å se en spesifikk kanals annonser, og sammenligner deretter resultatet med en gruppe som så dem. Uansett hvilket gap som gjenstår mellom de to gruppene, er det kanalens sanne, inkrementelle bidrag. Alt annet er konverteringer som ville ha skjedd uansett.

Hvorfor plattformrapporterte tall overdriver resultater#

Hvert annonsenettverk vil ha kreditt for et salg. Hvis noen allerede skulle kjøpe via organisk søk eller et merkesøkeklikk, og også tilfeldigvis så en remarketingannonse underveis, kan standard konverteringssporing fortsatt gi den kreditten til annonsen innenfor dens attribueringsvindu. Selv mykere kreditt, der en plattform teller en konvertering etter at noen bare så en annonse, forverrer problemet; den mekanikken kalles gjennom-visningsattribuering. Inkrementell testing fjerner denne støyen ved å stille et mer direkte spørsmål: hvis denne kanalen hadde brukt null dollar denne måneden, ville konverteringen fortsatt ha skjedd?

Det er et annet spørsmål enn det en sporingpixel svarer på alene, og det er grunnen til at team som kjører månedlige budsjetter på seks sifre for native eller sosiale medier til slutt bygger et inkrementelt program ved siden av plattformdashbordene sine, ikke i stedet for dem.

Hvordan team kjører det i praksis#

To design dekker de fleste virkelige tilfeller. En geografisk test stopper en kanal helt i et sett med matchede regioner og sammenligner konverteringsraten mot regioner hvor forbruket fortsatte. En brukernivåtest bruker annonseplattformens innebygde verktøy for konverteringsøkning, som tilbys nativt av flere demand-side platforms, for å holde tilbake annonser fra en tilfeldig utvalgt del av publikumet.

Uansett er regnestykket det samme: inkrementell økning er lik testgruppens konverteringsrate minus kontrollgruppens konverteringsrate. En kanal som viser en sterk selvrapportert ROAS på plattformen, kan vise nesten null inkrementell økning når en ren kontrollgruppe fjerner brukerne som ville ha konvertert uansett.

Hva det brukes til#

Mediekjøpere kjører inkrementelle tester for å bestemme budsjettallokering på tvers av nettverk, ikke bare for å revidere én kanal isolert. Et mønster vi ser på tvers av indeksen: merker som kjører samme kreative vinkel samtidig på flere nettverk, antar ofte at alle bidrar, når en økningstest viser at én kanal hovedsakelig gjenvinner etterspørsel en annen allerede har skapt.

Før de kjører en formell test, starter de fleste team med å se på hva konkurrenter i deres bransje faktisk skalerer, siden en kanal full av lang annonselang levetid er en god proxy for hvor inkrementelt budsjett har en tendens til å fungere. OpenAdLibrarys annonseintelligens-verktøy lar deg sjekke kreativ overlapp og kjøretid på tvers av nettverk før du forplikter test-annonseforbruk til en kontrollgruppe.

Vanlige feil#

Kontrollgruppen må være stor nok og tilfeldig nok til å oppdage et reelt signal, ikke bare støy. En én-ukers test på en kanal med lavt volum kan vanligvis ikke nå statistisk signifikans. Team kjører også ofte testen under en sesongmessig topp eller en helnettstedskampanje, som forurenser begge gruppene like mye og gjør økningstallet meningsløst. Kjør testen i en representativ periode, dimensjoner kontrollgruppen med en riktig styrkeberegning, og ikke stopp tidlig bare fordi det foreløpige tallet ser bra eller dårlig ut.