Incrementality Testing: Definition & How It Works

Incrementality testing er et kontrolleret eksperiment, der måler, hvor meget af dine rapporterede konverteringer en annoncekanal faktisk forårsager, i stedet for hvor mange konverteringer platformens pixel blot tager æren for. Du holder en gruppe brugere eller geografier tilbage fra at se en specifik kanals annoncer og sammenligner derefter resultatet med en gruppe, der så dem. Det hul, der er mellem de to grupper, er kanalens reelle, inkrementelle bidrag. Alt andet er konverteringer, der ville være sket alligevel.

Hvorfor platformrapporterede tal overdriver resultater#

Hvert annoncenetværk vil gerne have æren for et salg. Hvis nogen allerede skulle købe via organisk søgning eller et klik på et brandet søgeord, og også tilfældigvis så en remarketing-annonce undervejs, kan standard konverteringssporing stadig give den ære til annoncen inden for dens attributionsvindue. Selv blødere kredit, hvor en platform tæller en konvertering efter at nogen blot har set en annonce, forværrer problemet; den mekanisme kaldes view-through attribution. Incrementality testing fjerner denne støj ved at stille et mere direkte spørgsmål: hvis denne kanal havde brugt nul dollars denne måned, ville konverteringen så stadig være sket?

Det er et andet spørgsmål end det, en sporingpixel svarer på alene, hvilket er grunden til, at teams, der kører månedlige budgetter på seks cifre på native eller sociale kanaler, til sidst bygger et incrementality-program ved siden af deres platform-dashboards, ikke i stedet for dem.

Hvordan teams kører det i praksis#

To designs dækker de fleste virkelige tilfælde. En geografisk test stopper en kanal helt i et sæt matchede regioner og sammenligner konverteringsraten med regioner, hvor forbrug fortsatte. En bruger-niveau test bruger annonceplatformens indbyggede conversion-lift-værktøjer, som tilbydes nativt af flere demand-side platforms, til at undlade annoncer for en tilfældigt udvalgt del af publikummet.

Uanset hvad er matematikken den samme: inkrementel effekt er lig med testgruppens konverteringsrate minus holdout-gruppens konverteringsrate. En kanal, der viser en stærk selvrapporteret ROAS på platformen, kan vise tæt på nul inkrementel effekt, når en ren holdout fjerner de brugere, der ville have konverteret uanset.

Hvad det bruges til#

Mediekøbere kører incrementality tests for at beslutte budgetallokering på tværs af netværk, ikke kun for at revidere en enkelt kanal isoleret. Et mønster vi ser på tværs af indekset: brands, der kører den samme kreative vinkel samtidigt på flere netværk, antager ofte, at de alle trækker læsset, når en lift-test viser, at en kanal mest genvinder efterspørgsel, som en anden allerede har skabt.

Før de kører en formel test, starter de fleste teams med at se på, hvad konkurrenter i deres branche faktisk skalerer, da en kanal fyldt med lange annoncelevetider er en god proxy for, hvor inkrementelle budgetter har tendens til at virke. OpenAdLibrary's annonceintelligens værktøjer lader dig tjekke kreativ overlap og køretid på tværs af netværk, før du forpligter test-annonceforbrug til en holdout.

Almindelige fejl#

Holdout-gruppen skal være stor nok og tilfældig nok til at opdage et reelt signal, ikke bare støj. En en-ugers test på en kanal med lav volumen kan normalt ikke nå statistisk signifikans. Teams kører også ofte testen under en sæsonbestemt top eller en helsides kampagne, hvilket forurener begge grupper lige meget og gør effekttallet meningsløst. Kør testen i en repræsentativ periode, dimensionér holdout'en med en korrekt power-beregning, og stop ikke tidligt, bare fordi det midlertidige tal ser godt eller dårligt ud.