Incrementality Testing: Definition & Hur Det Fungerar

Incrementality testing är ett kontrollerat experiment som uppskattar hur mycket av den konverteringsaktivitet som rapporteras för en annonskanal som annonseringen faktiskt orsakade, snarare än att förlita sig på de konverteringar som plattformens spårning tillskriver dess annonser. Du håller tillbaka en grupp användare eller geografier från att se en specifik kanals annonser, och jämför sedan resultatet mot en grupp som såg dem. Ett väl utformat test tolkar gapet mellan grupperna som en uppskattning av kanalens inkrementella effekt för den målgruppen, perioden och uppsättningen, rapporterad med sin osäkerhet; de utfall som kvarstår i kontrollgruppen är de som hände utan annonserna.

Varför plattformsrapporterade siffror kan skilja sig från inkrementella resultat#

Annonsplattformar tillskriver konverteringar till annonser enligt sina egna regler. Om någon redan skulle köpa via organisk sökning eller ett klick på ett märkessökord, och också råkade se en retargeting-annons på vägen, kan standard konverteringsspårning fortfarande ge den annonsen äran inom dess attribueringsfönster. Mjukare kreditering, där en plattform räknar en konvertering efter att någon bara såg en annons, bidrar till gapet; den mekanismen kallas view-through attribution. De konverteringar en plattform rapporterar är därför inte samma sak som de konverteringar dess annonser orsakade. Incrementality testing ställer en annan fråga: om den här kanalen inte hade annonserat, skulle konverteringen fortfarande ha hänt?

Det är en annan fråga än den en spårningspixel svarar på själv, så incrementality testing används vid sidan av plattformspaneler, inte istället för dem.

Hur team kör det i praktiken#

Flera olika designer används. Ett geo-nivåtest tilldelar regioner till ett test- eller kontrollvillkor, till exempel genom att köra en kanals annonser i vissa regioner och hålla tillbaka dem i andra, och jämför utfall som försäljning eller konverteringar mellan regionerna; Googles geo-experiment tilldelar slumpmässigt icke-överlappande regioner, medan Metas GeoLift bygger en syntetisk kontroll från obehandlade regioner. Ett användarnivåtest använder en annonsplattforms verktyg för konverteringslyft: Metas Conversion Lift tilldelar slumpmässigt personer till en testgrupp som ser annonserna och en kontrollgrupp som inte gör det, och Google Ads Conversion Lift erbjuder användarbaserade och geografibaserade studier, även om Google säger att det inte är tillgängligt för alla konton.

Hur effekten uppskattas beror på designen. I ett randomiserat användarnivåtest är uppskattningen skillnaden i utfall mellan testgruppen och kontrollgruppen, vilket kan rapporteras som extra konverteringar eller som en procentandel över kontrollgruppen. Som ett hypotetiskt exempel: om 10,000 testanvändare ger 300 konverteringar och 10,000 kontrollanvändare ger 250, är den uppskattade lyften 50 konverteringar, eller 20% över kontrollgruppen, även om plattformen tillskrev alla 300 konverteringar till sina annonser. Geo-test förlitar sig vanligtvis inte på den enkla subtraktionen: de jämför behandlade regioner med vad en modell, till exempel en syntetisk kontroll byggd från obehandlade regioner, säger att de skulle ha producerat utan annonserna. En kanal med en stark plattformsrapporterad ROAS kan visa en mycket mindre inkrementell effekt i ett test; hur stort gapet är beror på kanalen, målgruppen och mätfönstret.

Vad det används till#

Mediaköpare använder incrementality-tester för att informera budgetallokering över nätverk, inte bara för att granska en kanal i isolering. Ett resultat beskriver den målgrupp, period och spenderingsnivå som testades.

Offentliga annonsarkiv kan inte mäta inkrementalitet. En annons som observerades under lång tid visar inte att den orsakade extra konverteringar, eftersom annonslivslängd registrerar hur länge en annons sågs, inte spendering eller resultat. Det arkiven kan erbjuda är hypoteser: OpenAdLibrarys sidor för annonsintelligens visar vilka kreativa material och nätverk en annonsör har observerats använda, och hur länge, vilket kan hjälpa dig att avgöra vad du ska testa med din egen kontrollgrupp innan du förbinder test-annonsbudget.

Vanliga misstag#

Kontrollgruppen måste vara tillräckligt stor, och tilldelas slumpmässigt eller matchas tillräckligt noggrant, för att upptäcka en verklig signal och inte bara brus. Ett kort test på en lågvolymskanal har kanske inte tillräckligt många konverteringar för att upptäcka en effekt, och Metas dokumentation för GeoLift varnar för att ett geo-test utan en föregående power-analys har hög sannolikhet att misslyckas med att hitta en lyft även när den finns. En säsongsmässig topp eller en helsajtkampanj ogiltigförklarar inte i sig ett randomiserat test, eftersom båda grupperna upplever den, men den uppmätta lyften beskriver då den perioden och håller kanske inte under normala veckor. En händelse som bara når en grupp, till exempel en regional kampanj i ett geo-test, kan snedvrida resultatet, så håll övrig marknadsföring konstant mellan test- och kontrollregioner. Kör testet under en representativ period som täcker minst en köpcykel, dimensionera kontrollgruppen med en power-beräkning, och sluta inte tidigt bara för att det preliminära talet ser bra ut, eller dåligt ut.