Wie lange sollten Ad-A/B-Tests laufen? Stichprobengröße-Mathematik praktisch gemacht
Die Dauer eines A/B-Tests ist Arithmetik, nicht Folklore: die benötigte Stichprobe geteilt durch erwartete tägliche Beobachtungen. Die Stichprobengröße-Mathematik nutzbar gemacht, plus Konversionsverzögerung, Stoppregeln und warum keine Kalender-Unter- oder Obergrenze zu jedem Test passt.

Planen Sie die Dauer ausgehend von der experimentellen Einheit, der Basisrate, dem erkennenswerten Effekt, der Fehlertoleranz, der Zuteilung und den erwarteten Beobachtungen pro Tag. Berücksichtigen Sie außerdem Konversionsverzögerung und relevante Zyklen. Es gibt keine universelle Konversionszahl oder Kalenderschwelle, die jeden Anzeigentest aussagekräftig macht.
Dauer ist ein Ergebnis, keine Kalenderentscheidung#
Die erwarteten Beobachtungen pro Variante beeinflussen die Zeit, die benötigt wird, um eine geplante Stichprobe zu erreichen. Konversionszahlen allein definieren nicht die erforderliche Stichprobe: Legen Sie Basisrate, Effektstärke, Design und Unsicherheitsannahmen fest.
- Die Basisrate der von Ihnen getesteten Metrik – CTR für Creatives, Konversionsrate für Lander und Angebote.
- Der kleinste erkennenswerte Unterschied. Die Erkennung einer 10%igen Steigerung kostet weit mehr Traffic als die Erkennung einer 50%igen Steigerung, und die meisten kleinen Steigerungen sind die Ausgaben nicht wert, die nötig sind, um sie zu sehen.
- Tägliches Volumen pro Variante – festgelegt durch Ihr Budget und Ihre Gebote.
Schätzen Sie die erforderlichen Beobachtungen unter dem gewählten Design und teilen Sie durch die erwarteten Beobachtungen pro Variante und Tag. Prüfen Sie, ob das resultierende Zeitfenster relevant bleibt; eine Dauer von vier Wochen ist keine automatische Ungültigkeitsschwelle.
Die Stichprobengrößen-Mathematik ohne Statistikstudium#
Eine grobe Planungsnäherung für zwei unabhängige Proportionen verwendet gleiche Zuteilung, einen festen Horizont, ein zweiseitiges Signifikanzniveau von 5% und 80% Power:
n per variant ≈ 16 × p × (1 − p) ÷ d²
Hier ist p die angenommene Basisrate des Ereignisses und d eine absolute Differenz zwischen Raten. Das Ergebnis zählt Beobachtungen pro Variante, etwa Impressionen oder geeignete Besuche, nicht Konversionen. Die Näherung muss bei seltenen Ereignissen, ungleicher Zuteilung, wiederkehrenden Nutzern, Clustering und anderen Abweichungen vom Design überprüft werden.
Hypothetische Berechnungen: p=0,005 und d=0,001 ergeben etwa 79.600 Impressionen pro Variante. p=0,02 und d=0,005 ergeben etwa 12.544 geeignete Besuche pro Variante. Wenn jeder dieser Besuche US$0.40 kostet, kosten beide Arme etwa US$10,035 an Medienkosten, bevor weitere Kosten anfallen. Dies sind Planungsszenarien, keine Branchen-Benchmarks und keine Versprechen von Signifikanz.
| Was Sie testen | Basisrate | Zu erkennender Anstieg | Stichprobe pro Variante |
|---|---|---|---|
| CTR (creative) | 0.5% | 20% relative | ~80,000 impressions |
| CTR (creative) | 0.5% | 50% relative | ~13,000 impressions |
| CVR (lander) | 2% | 25% relative | ~12,500 clicks |
| CVR (lander) | 2% | 50% relative | ~3,100 clicks |
| CVR (offer page) | 5% | 25% relative | ~4,900 clicks |
Unter dieser Näherung vervierfacht die Halbierung von d die geplante Stichprobe. CTR und Konversion beantworten unterschiedliche Fragen: Eine CTR-Verbesserung muss nicht den Beitrag oder die Akquisitionskosten verbessern. Wählen Sie Metriken und Guardrails rund um die Entscheidung, statt anzunehmen, dass das Testen auf Impressionsebene immer günstiger oder ausreichend ist.
Relevante Zyklen und Konversionsverzögerung einplanen#
Wählen Sie ein Zeitfenster, das den relevanten Traffic repräsentiert und verzögerte Ergebnisse ausreifen lässt. Wöchentliche Muster können eine Rolle spielen, aber sieben Tage sind weder ein universelles Minimum noch ein Beweis dafür, dass das Design repräsentativ ist.
Die Obergrenze: Lange Tests verrotten von innen#
Längere Zeitfenster können veränderte Bedingungen mit sich bringen, aber ein Test hört nach drei oder vier Wochen nicht automatisch auf, kontrolliert zu sein. Bewerten Sie Randomisierung, gleichzeitige Exposition, Drift, verzögerte Ergebnisse und praktische Relevanz; überarbeiten Sie das Design, wenn nötig.
Nicht spähen – oder zumindest nicht auf die Blicke handeln#
Einen Test mit festem Horizont wiederholt zu prüfen und beim ersten günstigen Signifikanzergebnis abzubrechen, kann seine Fehlerrate verändern. Legen Sie Design und Analyse vorab fest oder verwenden Sie eine geeignete sequenzielle Methode. Operative Stoppbedingungen sind von einer statistischen Erfolgserklärung zu unterscheiden.
Kill-Regeln, wenn Sie sich Signifikanz nicht leisten können#
Die meisten Käufer im Native und Affiliate-Bereich können 12.500 Klicks pro Variante nicht finanzieren, und so zu tun, als ob, erzeugt falsche Genauigkeit. Die ehrliche Alternative ist das gestaffelte Aussortieren – grober als Signifikanztests und gängige Praxis bei Käufern, die dutzende Creatives pro Monat testen:
Eine finanzielle Stoppregel kann die Exposition begrenzen, belegt aber keine statistische Signifikanz. Wenn Sie Varianten vor einem bestätigenden Test vorfiltern, berücksichtigen Sie Selektion und multiples Testen und verwenden Sie für die endgültige Entscheidung frische, angemessen designte Evidenz. Eine 2- bis 3-fache CPA-Regel oder ein paar tausend Impressionen sind keine universelle Validierung.
Konkurrentenbeobachtungen nutzen, um Hypothesen zu bilden#
Erfasste Konkurrenz-Anzeigen können kreative Hypothesen nahelegen. Eine Beobachtungsspanne von 30 Tagen belegt nicht, dass ein Konkurrent einen Rentabilitätstest bestanden hat, und die Auswahl eines vertrauten Winkels reduziert nicht die Stichprobe, die für Ihr gewähltes statistisches Design erforderlich ist.
Ein durchgerechnetes Beispiel von Anfang bis Ende#
Angenommen, Sie betreiben ein Lead-Gen-Angebot mit einer Auszahlung von 60 $ und einer Kampagne, die etwa 1.500 Klicks pro Tag über Ihre Testzellen liefert.
In einem hypothetischen Test mit gleicher Zuteilung und p=0,03 sowie d=0,009 ergibt die Näherung etwa 5.748 geeignete Besuche pro Arm. Bei insgesamt 1.500 geeigneten Besuchen pro Tag dauert das Sammeln beider Arme etwa 7,7 Tage, bevor Verzögerungen, Zyklen oder andere Designanforderungen berücksichtigt werden. Eine frühere Screening-Phase garantiert keinen verteidigbaren Gewinner nach 10–12 Tagen.
Eine geplante Dauer kombiniert die Stichprobenanforderungen mit dem erwarteten geeigneten Traffic und dem Timing der Ergebnisse. Sie ist keine Garantie dafür, dass das Experiment einen statistisch oder kommerziell entscheidenden Gewinner hervorbringt.







