Wie lange sollten Ad-A/B-Tests laufen? Stichprobengröße-Mathematik praktisch gemacht

Führen Sie einen Ad-A/B-Test so lange durch, bis jede Variante genügend Konversionen gesammelt hat, um den gewünschten Unterschied sichtbar zu machen – nicht für eine feste Anzahl von Tagen. Als Faustregel bedeutet das mindestens eine volle Woche, um die Wochentagszyklen abzudecken, und irgendwo zwischen 50 und einigen tausend Konversionen pro Variante, je nachdem, wie klein der zu erkennende Unterschied ist. Die Dauer ist ein Ergebnis der Arithmetik, keine Kalendervorliebe: Benötigte Tage = erforderliche Stichprobe pro Variante ÷ Ihr tägliches Volumen pro Variante. Dieser Artikel liefert Ihnen diese Arithmetik, die Unter- und Obergrenzen, die sie außer Kraft setzen, und die günstigere Testreihenfolge, wenn die Mathematik sagt, dass Sie sich Signifikanz nicht leisten können.

Dauer ist ein Ergebnis, keine Kalenderentscheidung#

Die meisten Ratschläge geben eine feste Antwort – sieben Tage, vierzehn Tage, ein Monat. Tage sind die falsche Einheit. Eine Kampagne, die 40 Konversionen pro Tag generiert, löst einen Lander-Test in etwa einer Woche; derselbe Test bei einer Kampagne mit 4 Konversionen pro Tag dauert über zwei Monate, und das Ergebnis ist bis dahin durch alles, was sich in der Zwischenzeit geändert hat, kontaminiert. Drei Eingaben bestimmen Ihre tatsächliche Dauer:

• Die Basisrate der von Ihnen getesteten Metrik – CTR für Creatives, Konversionsrate für Lander und Angebote.
• Der kleinste erkennenswerte Unterschied. Die Erkennung einer 10%igen Steigerung kostet weit mehr Traffic als die Erkennung einer 50%igen Steigerung, und die meisten kleinen Steigerungen sind die Ausgaben nicht wert, die nötig sind, um sie zu sehen.
• Tägliches Volumen pro Variante – festgelegt durch Ihr Budget und Ihre Gebote.

Bestimmen Sie die ersten beiden, und die erforderliche Stichprobe ergibt sich aus einer Formel. Teilen Sie durch die dritte, und Sie haben Ihre Dauer. Wenn das Ergebnis länger als etwa vier Wochen ist, ist der richtige Schritt normalerweise, den Test zu ändern, nicht ihn durchzuziehen – dazu weiter unten mehr.

Die Stichprobengrößen-Mathematik ohne Statistikstudium#

Der Standard-Kurzweg für einen Zwei-Varianten-Test mit 95% Konfidenz und 80% Power:

n per variant ≈ 16 × p × (1 − p) ÷ d²

wobei p Ihre Basisrate als Dezimalzahl ist und d die absolute Differenz, die Sie erkennen möchten. Zwei durchgerechnete Beispiele:

• Kreativtest auf CTR-Ebene. Basis-CTR 0,5%, Erkennung eines relativen Anstiegs von 20% (0,1 Prozentpunkte absolut): n ≈ 16 × 0,005 × 0,995 ÷ 0,001² ≈ 80.000 Impressionen pro Variante. Native Placements liefern Impressionen schnell und günstig, daher kann dies in Tagen erledigt sein.
• Lander-Test auf Konversionsebene. Basis-Konversionsrate 2%, Erkennung eines relativen Anstiegs von 25% (0,5 Prozentpunkte absolut): n ≈ 16 × 0,02 × 0,98 ÷ 0,005² ≈ 12.500 Klicks pro Variante. Bei einem CPC von 0,40 $ ist das ein fünfstelliger Test für ein einzelnes Seitenpaar.

Zwei Lehren ergeben sich aus dieser Tabelle. Erstens sind kleine Steigerungen brutal teuer: Die Halbierung des erkennbaren Unterschieds vervierfacht die Stichprobe. Zweitens kostet das Testen auf Impressionsebene einen Bruchteil des Testens auf Klickebene. Diese Asymmetrie sollte Ihr gesamtes Testprogramm prägen: Testen Sie kreative Winkel auf CTR-Ebene, testen Sie Trichter auf Konversionsebene, und testen Sie keine Änderungen von der Größe einer Buttonfarbe – die erforderliche Stichprobe, um sie zu erkennen, amortisiert sich selten.

Die Untergrenze: eine ganze Woche, egal was die Mathematik sagt#

Selbst wenn das Volumen Ihre Stichprobe in zwei Tagen liefert, laufen Sie mindestens sieben Tage. Werktags- und Wochenendpublikum verhalten sich unterschiedlich – unterschiedliche Personen, unterschiedliche Geräte, unterschiedliche Absichten. Der Publisher-Mix in nativen Netzwerken wechselt im Laufe der Woche, da sich Nachrichtenzyklen und Content-Pläne verschieben, sodass der Traffic am Dienstag nicht der Traffic am Samstag ist. Die Konversionsverzögerung fügt eine zweite Verzerrung hinzu: Die Klicks einer Variante von Donnerstag konvertieren möglicherweise am Samstag, sodass ein früher Abbruch systematisch die Variante bevorzugt, die ihre Impressionen zufällig zuerst erhalten hat. Ein Test, der mitten in der Woche endet, hat einen verzerrten Ausschnitt Ihres tatsächlichen Traffics erfasst, und der 'Gewinner' ist möglicherweise einfach der Werktagsspezialist.

Die Obergrenze: Lange Tests verrotten von innen#

Nach drei bis vier Wochen ist ein A/B-Test kein kontrolliertes Experiment mehr. Creative Fatigue schwächt beide Varianten – selten mit gleicher Geschwindigkeit, was die Rangfolge mitten im Test leise umkehrt. Wettbewerber treten in die Auktion ein und verlassen sie und verändern Ihre Traffic-Qualität. Saisonalität verschiebt sich unter dem gesamten Vergleich. Wenn die Formel besagt, dass Sie sechs Wochen Traffic benötigen, interpretieren Sie das als Urteil: Der Unterschied, den Sie suchen, ist zu klein, um bei Ihrem Volumen erkannt zu werden. Testen Sie stattdessen einen größeren Sprung – einen anderen Hook oder Winkel, eine andere Trichterstruktur – bei dem der erkennbare Unterschied groß und die Stichprobe erschwinglich ist.

Nicht spähen – oder zumindest nicht auf die Blicke handeln#

Der klassische Fehlermodus: Täglich das Dashboard überprüfen und am ersten Tag, an dem die Zahlen signifikant aussehen, den Sieg erklären. Wiederholte Blicke auf die sich anhäufenden Daten blähen die Falsch-Positiv-Rate dramatisch auf – bei täglichem Spähen feuert die Stoppregel 'es hat irgendwann Signifikanz erreicht' weit häufiger als die beworbene Fehlerrate von 5 %. Die Regression zur Mitte erklärt dann die meisten Beschwerden über 'mein Gewinner hat aufgehört zu gewinnen': Die Variante, die am zweiten Tag voraus sprang, ritt auf Rauschen und driftet zurück. Die Disziplin ist einfach: Legen Sie Ihre Stichprobengröße vorab fest, überwachen Sie täglich nur auf Stop-Loss-Bedingungen – defektes Tracking, ausufernde Ausgaben, eine katastrophal abschneidende Variante – und bewerten Sie den Gewinner einmal am Ende.

Kill-Regeln, wenn Sie sich Signifikanz nicht leisten können#

Die meisten Käufer im Native und Affiliate-Bereich können 12.500 Klicks pro Variante nicht finanzieren, und so zu tun, als ob, erzeugt falsche Genauigkeit. Die ehrliche Alternative ist das gestaffelte Aussortieren – grober als Signifikanztests und gängige Praxis bei Käufern, die dutzende Creatives pro Monat testen:

1. CTR-Aussortieren (Tag 1–3). Geben Sie jedem Creative ein paar tausend Impressionen und töten Sie alles, was deutlich unter dem Durchschnitt liegt. Sie beweisen nichts – Sie sortieren vor, damit das Budget auf plausible Gewinner konzentriert wird.
2. Ausgabenschutz (fortlaufend). Eine gängige Praktikerregel: Pausieren Sie jede Variante, die das 2- bis 3-fache Ihres Ziel-CPA ausgegeben hat, ohne eine Konversion. Das ist keine Statistik; es ist Überleben.
3. Signifikanz auf die Finalisten. Sobald zwei oder drei Überlebende den Großteil der Ausgaben tragen, führen Sie einen ordentlichen Konversionsebenentest zwischen ihnen mit der obigen Mathematik durch. Sie finanzieren einen echten Test anstelle von zehn gefälschten.

Stichprobe abkürzen: Beginnen Sie mit Anzeigen, die bereits überlebt haben#

Jede Variante, die Sie nicht testen müssen, ist gespartes Geld, und die günstigste Information darüber, was funktioniert, ist das, was Konkurrenten weiterhin bezahlen, um zu schalten. Eine Anzeige, die 30+ Tage gelaufen ist, hat jeden Tag dieser Laufzeit den Rentabilitätscheck ihres Eigentümers bestanden. Der Index von OpenAdLibrary mit 725.000+ aktiven nativen Creatives in 49 Netzwerken (Juni 2026) zeichnet das erste und letzte Sichtdatum für jedes Creative auf, was Anzeigenlanglebigkeit in ein filterbares Signal verwandelt, statt in eine Vermutung – die am längsten laufenden nativen Anzeigen in Ihrer vertikalen Nische sind ein vorgetestetes Startfeld. Bauen Sie Ihren Test um zwei oder drei bereits in freier Wildbahn bewährte Winkel auf, und Sie testen Variationen eines Gewinners anstelle von kalten Vermutungen; Sie können Live-Konkurrenz-Creatives kostenlos mit dem Native-Ad-Spy-Tool durchsuchen. Weniger, bessere Varianten bedeuten kleinere Stichproben, kürzere Tests und weniger Budget, das für die Entdeckung verbrannt wird.

Ein durchgerechnetes Beispiel von Anfang bis Ende#

Angenommen, Sie betreiben ein Lead-Gen-Angebot mit einer Auszahlung von 60 $ und einer Kampagne, die etwa 1.500 Klicks pro Tag über Ihre Testzellen liefert.

• Kreativphase: Vier Creatives konkurrieren auf CTR-Ebene. Ein paar tausend Impressionen pro Stück erledigt in 2–3 Tagen; auf die besten zwei aussortieren.
• Lander-Phase: Zwei Lander auf Konversionsebene. Basis-CVR um 3%, Erkennung eines relativen Anstiegs von 30% (0,9 Punkte absolut): n ≈ 16 × 0,03 × 0,97 ÷ 0,009² ≈ 5.700 Klicks pro Variante, insgesamt etwa 11.400. Bei 1.500 Klicks pro Tag sind das acht Tage – nennen wir es eine ganze Woche plus Wochenendabdeckung.
• Fazit: Ein Testzyklus dauert 10–12 Tage vom Start bis zu einem verteidigbaren Gewinner, wobei die Verliererausgaben durch die Guardrail-Regel gedeckelt werden, anstatt hoffnungsvoll weiterzulaufen.

Das ist die realistische Form von 'Wie lange': ein paar Tage billiger Triage, eine Woche plus fokussierte Messung und eine Kalenderlänge, die von Ihrem Klickvolumen bestimmt wird – nicht von irgendjemandes magischer Anzahl von Tagen.