Inkrementalitätstests: Definition & Funktionsweise

Inkrementalitätstests sind ein kontrolliertes Experiment, das schätzt, wie viel der für einen Werbekanal gemeldeten Conversion-Aktivität die Werbung tatsächlich verursacht hat, anstatt sich auf die Conversions zu verlassen, die das Tracking der Plattform ihren Anzeigen zuschreibt. Sie halten eine Gruppe von Nutzern oder geografischen Regionen davon ab, die Anzeigen eines bestimmten Kanals zu sehen, und vergleichen dann das Ergebnis mit einer Gruppe, die sie gesehen hat. Ein gut konzipierter Test liest die Lücke zwischen den Gruppen als Schätzung des inkrementellen Effekts des Kanals für dieses Publikum, diesen Zeitraum und diesen Aufbau und weist dabei die Unsicherheit aus; die Ergebnisse, die in der Holdout-Gruppe verbleiben, sind diejenigen, die ohne die Anzeigen eingetreten sind.

Warum plattformgemeldete Zahlen von inkrementellen Ergebnissen abweichen können#

Werbeplattformen schreiben Conversions nach ihren eigenen Regeln Anzeigen zu. Wenn jemand bereits über die organische Suche oder einen gebrandeten Suchergebnisklick kaufen wollte und zufällig auch eine Retargeting-Anzeige gesehen hat, kann die standardmäßige Conversion-Tracking diese Anzeige dennoch innerhalb ihres Attributionsfensters anrechnen. Noch weichere Anrechnung, bei der eine Plattform eine Conversion zählt, nachdem jemand lediglich eine Anzeige gesehen hat, vergrößert die Lücke; dieser Mechanismus wird als View-through-Attribution bezeichnet. Die Conversions, die eine Plattform meldet, sind daher nicht dasselbe wie die Conversions, die ihre Anzeigen verursacht haben. Inkrementalitätstests stellen eine andere Frage: Wenn dieser Kanal nicht geworben hätte, wäre die Conversion trotzdem passiert?

Das ist eine andere Frage als die, die ein Tracking-Pixel allein beantwortet, daher werden Inkrementalitätstests neben Plattform-Dashboards eingesetzt, nicht anstelle von ihnen.

Wie Teams es in der Praxis umsetzen#

Es werden mehrere Designs verwendet. Ein Geo-Level-Test ordnet Regionen einer Test- oder Holdout-Bedingung zu, indem er beispielsweise die Anzeigen eines Kanals in einigen Regionen ausspielt und in anderen zurückhält, und vergleicht Ergebnisse wie Umsätze oder Conversions zwischen den Regionen; die Geo-Experimente von Google weisen nicht überlappende Regionen zufällig zu, während Metas GeoLift aus unbehandelten Regionen eine synthetische Kontrolle aufbaut. Ein User-Level-Test nutzt die Conversion-Lift-Tools einer Werbeplattform: Metas Conversion Lift weist Personen zufällig einer Testgruppe, die die Anzeigen sieht, und einer Kontrollgruppe, die sie nicht sieht, zu, und Google Ads Conversion Lift bietet nutzerbasierte und geografiebasierte Studien an, wobei Google angibt, dass es nicht für alle Konten verfügbar ist.

Wie der Effekt geschätzt wird, hängt vom Design ab. In einem randomisierten User-Level-Test ist die Schätzung die Differenz der Ergebnisse zwischen der Testgruppe und der Holdout-Gruppe, die als zusätzliche Conversions oder als prozentualer Anteil über der Holdout-Gruppe ausgewiesen werden kann. Als hypothetisches Beispiel: Wenn 10.000 Testnutzer 300 Conversions erzeugen und 10.000 Holdout-Nutzer 250, beträgt der geschätzte Lift 50 Conversions oder 20 % über der Holdout-Gruppe, selbst wenn die Plattform alle 300 Conversions ihren Anzeigen zugeschrieben hat. Geo-Tests verlassen sich in der Regel nicht auf diese einfache Subtraktion: Sie vergleichen behandelte Regionen damit, was ein Modell, etwa eine aus unbehandelten Regionen aufgebaute synthetische Kontrolle, für sie ohne die Anzeigen vorhersagt. Ein Kanal mit einem starken plattformgemeldeten ROAS kann in einem Test einen deutlich kleineren inkrementellen Effekt zeigen; wie groß die Lücke ist, hängt vom Kanal, der Zielgruppe und dem Messfenster ab.

Wofür es verwendet wird#

Media-Buyer nutzen Inkrementalitätstests, um die Budgetallokation über Netzwerke hinweg zu fundieren, nicht nur um einen einzelnen Kanal isoliert zu prüfen. Ein Ergebnis beschreibt das Publikum, den Zeitraum und die Ausgabenebene, die getestet wurden.

Öffentliche Anzeigenarchive können Inkrementalität nicht messen. Eine Anzeige, die lange beobachtet wurde, belegt nicht, dass sie zusätzliche Conversions verursacht hat, denn Anzeigenlebensdauer erfasst, wie lange eine Anzeige zu sehen war, nicht Ausgaben oder Ergebnisse. Was die Archive bieten können, sind Hypothesen: Die ad intelligence-Seiten von OpenAdLibrary zeigen, welche Creatives und Netzwerke bei einem Werbetreibenden beobachtet wurden und wie lange, was Ihnen helfen kann zu entscheiden, was Sie mit Ihrem eigenen Holdout testen, bevor Sie Werbeausgaben für einen Test verpflichten.

Häufige Fehler#

Die Holdout-Gruppe muss groß genug und entweder zufällig zugewiesen oder sorgfältig genug abgeglichen sein, um ein echtes Signal zu erkennen und nicht nur Rauschen. Ein kurzer Test auf einem Kanal mit geringem Volumen hat möglicherweise nicht genügend Conversions, um einen Effekt zu erkennen, und die GeoLift-Dokumentation von Meta warnt davor, dass ein Geo-Test ohne vorherige Power-Analyse mit hoher Wahrscheinlichkeit keinen Lift findet, selbst wenn einer existiert. Ein saisonaler Höhepunkt oder eine siteweite Aktion entwertet einen randomisierten Test nicht für sich genommen, da beide Gruppen ihn erleben, aber der gemessene Lift beschreibt dann diesen Zeitraum und gilt möglicherweise nicht in normalen Wochen. Ein Ereignis, das nur eine Gruppe erreicht, etwa eine regionale Aktion in einem Geo-Test, kann das Ergebnis verzerren, halten Sie daher anderes Marketing über Test- und Kontrollregionen hinweg konstant. Führen Sie den Test während eines repräsentativen Zeitraums durch, der mindestens einen Kaufzyklus abdeckt, dimensionieren Sie die Holdout-Gruppe mit einer Power-Berechnung, und brechen Sie nicht frühzeitig ab, nur weil der Zwischenwert gut oder schlecht aussieht.