Holdout-Test (Werbung): Definition & Anwendungen

Ein Holdout-Test ist ein Experimentdesign, das einem Teil Ihrer Zielgruppe eine Anzeige oder eine Marketingmaßnahme vorenthält (der Holdout-Gruppe), während der Rest der Zielgruppe sie weiterhin erhält, und dann die Ergebnisse zwischen den beiden Gruppen vergleicht, um die tatsächliche Wirkung der Maßnahme zu messen. Es ist der Oberbegriff für die breitere Familie kausaler Messexperimente in der Werbung, die von einer vollständigen regionalen Pause bis hin zu einem engen Frequency-Cap-Test reichen.

Die grundlegende Mechanik#

Teilen Sie Ihre Zielgruppe in zwei Gruppen auf, die sich in den Merkmalen, die Ihre Ergebnismetrik vorhersagen, so ähnlich wie möglich sind: bisheriges Kaufverhalten, Region, Gerätetyp – alles, was für Ihr Unternehmen relevant ist. Eine Gruppe, die Holdout-Gruppe, sieht keine Anzeigen (oder stattdessen eine öffentliche Dienstleistungsnachricht); die andere Gruppe sieht die Kampagne wie gewohnt. Nach einem festgelegten Zeitraum vergleichen Sie die Conversion-Rate, den Umsatz oder eine andere getestete Metrik zwischen den beiden Gruppen. Die Differenz, bereinigt um etwaige Unterschiede zwischen den Gruppen, ist der inkrementelle Effekt der Maßnahme.

Warum Plattformen dies integrieren#

Die meisten großen Werbeplattformen mit einer Self-Serve Demand-Side-Plattform bieten heute eine Form von integriertem Conversion-Lift- oder Holdout-Testing an, da Werbetreibende immer wieder dieselbe Frage stellten, die ihr eigenes Conversion-Tracking-Dashboard nicht ehrlich beantworten konnte: Wären diese Conversions auch ohne die Anzeigen erfolgt? Ein Dashboard, das eine starke ROAS-Zahl anzeigt, berichtet von assoziierten Conversions, nicht unbedingt von verursachten, und nur ein echter Holdout trennt diese beiden.

Wo Holdout-Tests im Trichter eingesetzt werden#

Ein vollständiger Kanal-Holdout pausiert ein gesamtes Netzwerk oder einen Kanal für eine Teilmenge von Nutzern oder Regionen – das Design hinter einem regionalen Lift-Test. Ein Kampagnen-Holdout pausiert eine bestimmte Kampagne, während andere fortgesetzt werden, und isoliert so die Wirkung dieser Kampagne von der Basislinie des Kanals. Ein Frequency-Holdout begrenzt, wie oft ein Nutzer eine Anzeige sieht, und vergleicht die Ergebnisse mit einer unbegrenzten Gruppe – nützlich zur Messung von Creative Fatigue und abnehmenden Erträgen.

Praktische Einschränkungen#

Die Durchführung eines Holdout-Tests bedeutet, dass einigen echten, adressierbaren Kunden für die Dauer des Tests bewusst keine Anzeigen gezeigt werden, was reale kurzfristige Kosten verursacht. Das ist der Kompromiss, den jedes incrementalitätsorientierte Team akzeptiert: einen Teil der kurzfristigen Reichweite und des Umsatzes aufzugeben, im Austausch für eine vertrauenswürdige Antwort darauf, ob die Ausgaben tatsächlich wirken. Auch die Stichprobengröße ist wichtig. Ein Holdout benötigt ausreichend Volumen in beiden Gruppen, um einen statistisch signifikanten Unterschied zu erkennen; das Testen eines Kanals mit geringem Traffic oder einer kurzen Kampagne liefert oft nur Rauschen, das als Ergebnis getarnt ist.

Das Ergebnis richtig interpretieren#

Ein Nullergebnis – kein signifikanter Unterschied zwischen exponierter und Holdout-Gruppe – ist ein echter Befund, kein gescheiterter Test. Es bedeutet, dass der Kanal zumindest für diese Zielgruppe und diesen Zeitraum keinen inkrementellen Mehrwert über das hinaus bot, was ohnehin geschehen wäre. Bevor Sie einen Kanal auf der Grundlage starker gemeldeter Zahlen skalieren, prüfen Sie, ob Wettbewerber in Ihrer vertikalen Branche dort ebenfalls hohe Werbeausgaben tätigen, denn ein Kanal, der mit langlaufenden Creatives überfüllt ist (siehe Anzeigenlanglebigkeit), ist ein vernünftiger Indikator dafür, dass Holdout-Tests tendenziell echten Lift bestätigen. Die ad intelligence-Plattform von OpenAdLibrary ermöglicht es Ihnen, diese Aktivität nach Netzwerk und Branche zu überprüfen, bevor Sie Testbudget binden.