Inkrementalitätstests: Definition & Funktionsweise

Inkrementalitätstests sind ein kontrolliertes Experiment, das misst, wie viel Ihrer gemeldeten Conversions ein Werbekanal tatsächlich verursacht, anstatt wie viele Conversions das Pixel der Plattform einfach für sich beansprucht. Sie halten eine Gruppe von Nutzern oder geografischen Regionen davon ab, die Anzeigen eines bestimmten Kanals zu sehen, und vergleichen dann das Ergebnis mit einer Gruppe, die sie gesehen hat. Der verbleibende Unterschied zwischen den beiden Gruppen ist der tatsächliche, inkrementelle Beitrag des Kanals. Alles andere sind Conversions, die ohnehin stattgefunden hätten.

Warum plattformgemeldete Zahlen die Ergebnisse überschätzen#

Jedes Werbenetzwerk möchte die Anerkennung für einen Verkauf. Wenn jemand bereits über die organische Suche oder einen gebrandeten Suchergebnisklick kaufen wollte und zufällig auch eine Retargeting-Anzeige gesehen hat, kann die standardmäßige Conversion-Tracking diese Anerkennung dennoch der Anzeige innerhalb ihres Attributionsfensters zuschreiben. Noch weichere Anerkennung, bei der eine Plattform eine Conversion zählt, nachdem jemand lediglich eine Anzeige gesehen hat, verschärft das Problem; dieser Mechanismus wird als View-through-Attribution bezeichnet. Inkrementalitätstests entfernen dieses Rauschen, indem sie eine direktere Frage stellen: Wenn dieser Kanal in diesem Monat null Dollar ausgegeben hätte, wäre die Conversion trotzdem passiert?

Das ist eine andere Frage als die, die ein Tracking-Pixel allein beantwortet, weshalb Teams mit sechsstelligen monatlichen Native- oder Social-Budgets schließlich ein Inkrementalitätsprogramm neben ihren Plattform-Dashboards aufbauen, nicht anstelle von ihnen.

Wie Teams es in der Praxis umsetzen#

Zwei Designs decken die meisten realen Fälle ab. Ein Geo-Level-Test pausiert einen Kanal vollständig in einer Reihe von abgestimmten Regionen und vergleicht die Conversion-Rate mit Regionen, in denen die Ausgaben fortgesetzt wurden. Ein User-Level-Test nutzt die integrierten Conversion-Lift-Tools der Werbeplattform, die von mehreren Demand-Side-Plattformen (DSP) nativ angeboten werden, um Anzeigen von einem randomisierten Teil des Publikums zurückzuhalten.

In beiden Fällen ist die Mathematik dieselbe: Der inkrementelle Lift entspricht der Conversion-Rate der Testgruppe minus der Conversion-Rate der Kontrollgruppe. Ein Kanal, der in der Plattform einen starken selbst gemeldeten ROAS zeigt, könnte nahezu null inkrementellen Lift aufweisen, sobald ein sauberer Holdout die Nutzer entfernt, die ohnehin konvertiert wären.

Wofür es verwendet wird#

Media-Buyer führen Inkrementalitätstests durch, um die Budgetallokation über Netzwerke hinweg zu entscheiden, nicht nur um einen einzelnen Kanal isoliert zu prüfen. Ein Muster, das wir im Index sehen: Marken, die gleichzeitig denselben kreativen Ansatz über mehrere Netzwerke hinweg ausspielen, nehmen oft an, dass alle gleichermaßen beitragen, während ein Lift-Test zeigt, dass ein Kanal hauptsächlich Nachfrage zurückgewinnt, die ein anderer bereits geschaffen hat.

Bevor sie einen formellen Test durchführen, beginnen die meisten Teams damit zu beobachten, was Wettbewerber in ihrer vertikalen Branche tatsächlich skalieren, da ein Kanal mit vielen Anzeigen mit langer Anzeigenlebensdauer ein recht guter Indikator dafür ist, wo inkrementelle Budgets tendenziell wirken. Die ad intelligence-Tools von OpenAdLibrary ermöglichen es Ihnen, kreative Überschneidungen und die Laufzeit über Netzwerke hinweg zu überprüfen, bevor Sie Werbeausgaben für einen Holdout verpflichten.

Häufige Fehler#

Die Kontrollgruppe muss groß genug und ausreichend zufällig sein, um ein echtes Signal zu erkennen, nicht nur Rauschen. Ein einwöchiger Test auf einem Kanal mit geringem Volumen kann in der Regel keine statistische Signifikanz erreichen. Teams führen den Test auch häufig während eines saisonalen Höhepunkts oder einer siteweiten Aktion durch, was beide Gruppen gleichermaßen verunreinigt und den Lift-Wert bedeutungslos macht. Führen Sie den Test während eines repräsentativen Zeitraums durch, dimensionieren Sie die Kontrollgruppe mit einer ordnungsgemäßen Power-Berechnung, und brechen Sie nicht frühzeitig ab, nur weil der Zwischenwert gut oder schlecht aussieht.