Incrementality Testing: Definition & How It Works

Incrementality testing er et kontrolleret eksperiment, der anslår, hvor meget af den konverteringsaktivitet, der rapporteres for en annoncekanal, annonceringen faktisk forårsagede, i stedet for at stole på de konverteringer, som platformens sporing tilskriver dens annoncer. Du holder en gruppe brugere eller geografier tilbage fra at se en specifik kanals annoncer og sammenligner derefter resultatet med en gruppe, der så dem. En veldesignet test læser hullet mellem grupperne som et estimat af kanalens inkrementelle effekt for den pågældende målgruppe, periode og opsætning, rapporteret med sin usikkerhed; de resultater, der forbliver i holdout-gruppen, er dem, der skete uden annoncerne.

Hvorfor platformrapporterede tal kan afvige fra inkrementelle resultater#

Annonceplatforme tilskriver konverteringer til annoncer efter deres egne regler. Hvis nogen allerede skulle købe via organisk søgning eller et klik på et brandet søgeord, og også tilfældigvis så en remarketing-annonce undervejs, kan standard konverteringssporing stadig give den ære til annoncen inden for dens attributionsvindue. Blødere kredit, hvor en platform tæller en konvertering, efter at nogen blot har set en annonce, øger hullet; den mekanisme kaldes view-through attribution. De konverteringer, en platform rapporterer, er derfor ikke det samme som de konverteringer, dens annoncer forårsagede. Incrementality testing stiller et andet spørgsmål: hvis denne kanal ikke havde annonceret, ville konverteringen så stadig være sket?

Det er et andet spørgsmål end det, en sporingpixel svarer på alene, så incrementality testing bruges ved siden af platform-dashboards, ikke i stedet for dem.

Hvordan teams kører det i praksis#

Der bruges flere designs. En geografisk test tildeler regioner til en test- eller holdout-betingelse, for eksempel ved at køre en kanals annoncer i nogle regioner og undlade dem i andre, og sammenligner resultater som salg eller konverteringer mellem regionerne; Googles geografiske eksperimenter tildeler tilfældigt ikke-overlappende regioner, mens Metas GeoLift opbygger en syntetisk kontrol ud fra ubehandlede regioner. En test på brugerniveau bruger en annonceplatforms conversion-lift-værktøjer: Metas Conversion Lift tildeler tilfældigt personer til en testgruppe, der ser annoncerne, og en kontrolgruppe, der ikke gør, og Google Ads Conversion Lift tilbyder brugerbaserede og geografibaserede undersøgelser, selvom Google siger, at det ikke er tilgængeligt for alle konti.

Hvordan effekten estimeres, afhænger af designet. I en randomiseret test på brugerniveau er estimatet forskellen i resultater mellem testgruppen og holdout-gruppen, som kan rapporteres som ekstra konverteringer eller som en procentdel over holdout'en. Som et hypotetisk eksempel: hvis 10,000 testbrugere producerer 300 konverteringer, og 10,000 holdout-brugere producerer 250, er den estimerede effekt 50 konverteringer, eller 20% over holdout'en, selvom platformen tilskrev alle 300 konverteringer til sine annoncer. Geografiske tests hviler normalt ikke på den simple subtraktion: de sammenligner behandlede regioner med, hvad en model, såsom en syntetisk kontrol opbygget ud fra ubehandlede regioner, siger, at de ville have produceret uden annoncerne. En kanal med en stærk platformrapporteret ROAS kan vise en meget mindre inkrementel effekt i en test; hvor stort hullet er, afhænger af kanalen, målgruppen og målevinduet.

Hvad det bruges til#

Mediekøbere bruger incrementality tests til at informere budgetallokering på tværs af netværk, ikke kun til at revidere en enkelt kanal isoleret. Et resultat beskriver den målgruppe, periode og det forbrugsniveau, der blev testet.

Offentlige annoncearkiver kan ikke måle inkrementalitet. En annonce, der er blevet observeret i lang tid, viser ikke, at den forårsagede ekstra konverteringer, fordi annoncelevetid registrerer, hvor længe en annonce blev set, ikke forbrug eller resultater. Det, arkiverne kan tilbyde, er hypoteser: OpenAdLibrary's annonceintelligens-sider viser, hvilke kreative materialer og netværk en annoncør er blevet observeret med, og i hvor lang tid, hvilket kan hjælpe dig med at beslutte, hvad du skal teste med din egen holdout, før du forpligter test-annonceforbrug.

Almindelige fejl#

Holdout-gruppen skal være stor nok og tildelt tilfældigt eller matchet omhyggeligt nok til at opdage et reelt signal og ikke bare støj. En kort test på en kanal med lav volumen har måske ikke nok konverteringer til at opdage en effekt, og Metas GeoLift-dokumentation advarer om, at en geografisk test uden en forudgående power-analyse har stor risiko for ikke at finde en effekt, selv når den findes. En sæsonbestemt top eller en helsides kampagne ugyldiggør ikke i sig selv en randomiseret test, fordi begge grupper oplever den, men den målte effekt beskriver så den periode og holder måske ikke i normale uger. En begivenhed, der kun rammer én gruppe, som en regional kampagne i en geografisk test, kan skævvride resultatet, så hold anden markedsføring konstant på tværs af test- og kontrolregioner. Kør testen i en repræsentativ periode, der dækker mindst én købscyklus, dimensionér holdout'en med en power-beregning, og stop ikke tidligt, bare fordi det midlertidige tal ser godt eller dårligt ud.