Hoe lang ad A/B-tests moeten lopen: steekproefgrootteberekening praktisch gemaakt
De duur van een A/B-test is rekenwerk, geen folklore: de benodigde steekproef gedeeld door verwachte dagelijkse observaties. De steekproefgrootteberekening bruikbaar gemaakt, plus conversievertraging, stopregels en waarom geen enkele kalenderondergrens of -bovengrens bij elke test past.

Plan de duur op basis van de experimentele eenheid, het basispercentage, het effect dat de moeite waard is om te detecteren, fouttolerantie, toewijzing en het verwachte aantal observaties per dag. Houd ook rekening met conversievertraging en relevante cycli. Er is geen universele drempel voor conversieaantallen of kalenderdagen die elke ad-test sluitend maakt.
Duur is een uitkomst, geen kalenderkeuze#
Verwachte observaties per variant beïnvloeden de tijd die nodig is om een geplande steekproef te bereiken. Conversieaantallen alleen bepalen niet de vereiste steekproef: specificeer het basispercentage, de effectgrootte, het design en de aannames over onzekerheid.
- Het basispercentage van de metric die je test — CTR voor creatives, conversieratio voor landers en aanbiedingen.
- Het kleinste verschil dat de moeite waard is om te detecteren. Een lift van 10% detecteren kost veel meer verkeer dan een lift van 50% detecteren, en de meeste kleine lifts zijn de uitgaven niet waard die nodig zijn om ze te zien.
- Dagelijks volume per variant — bepaald door je budget en biedingen.
Schat het vereiste aantal observaties onder het gekozen design en deel door het verwachte aantal observaties per variant per dag. Controleer of het resulterende venster relevant blijft; een duur van vier weken is geen automatische ongeldigheidsdrempel.
De steekproefgrootteberekening, minus de statistiekopleiding#
Eén ruwe planningsbenadering voor twee onafhankelijke proporties gebruikt gelijke toewijzing, een vaste horizon, een tweezijdig significantieniveau van 5% en 80% power:
n per variant ≈ 16 × p × (1 − p) ÷ d²
Hier is p het veronderstelde basispercentage van de gebeurtenis en d een absoluut percentageverschil. Het resultaat telt observaties per variant, zoals impressies of geschikte bezoeken, niet conversies. De benadering moet worden gecontroleerd op zeldzame uitkomsten, ongelijke toewijzing, terugkerende gebruikers, clustering en andere afwijkingen van het design.
Hypothetische berekeningen: p=0,005 en d=0,001 leveren ongeveer 79.600 impressies per variant op. p=0,02 en d=0,005 leveren ongeveer 12.544 geschikte bezoeken per variant op. Als elk dergelijk bezoek US$0.40 kost, kosten twee armen ongeveer US$10,035 aan media vóór andere kosten. Dit zijn planningsscenario's, geen branchebenchmarks of beloftes van significantie.
| Wat je test | Basis | Lift om te detecteren | Steekproef per variant |
|---|---|---|---|
| CTR (creatief) | 0,5% | 20% relatief | ~80.000 impressies |
| CTR (creatief) | 0,5% | 50% relatief | ~13.000 impressies |
| CVR (lander) | 2% | 25% relatief | ~12.500 klikken |
| CVR (lander) | 2% | 50% relatief | ~3.100 klikken |
| CVR (aanbiedingspagina) | 5% | 25% relatief | ~4.900 klikken |
Bij deze benadering verviervoudigt het halveren van d de geplande steekproef. CTR en conversie beantwoorden verschillende vragen: een CTR-verbetering hoeft de bijdrage of de acquisitiekosten niet te verbeteren. Kies metrics en guardrails rond de beslissing, in plaats van aan te nemen dat testen op impressieniveau altijd goedkoper of voldoende is.
Houd rekening met relevante cycli en conversievertraging#
Kies een venster dat het relevante verkeer vertegenwoordigt en dat uitgestelde uitkomsten de tijd geeft om te rijpen. Weekpatronen kunnen van belang zijn, maar zeven dagen is geen universeel minimum en ook geen bewijs dat het design representatief is.
Het maximum: lange tests rotten van binnenuit#
Langere vensters kunnen veranderende omstandigheden introduceren, maar een test houdt niet automatisch op gecontroleerd te zijn na drie of vier weken. Beoordeel randomisatie, gelijktijdige blootstelling, drift, uitgestelde uitkomsten en praktische relevantie; herzie het design indien nodig.
Niet gluren — of in ieder geval niet handelen naar gegluur#
Het herhaaldelijk checken van een test met een vaste horizon en stoppen bij het eerste gunstige significantieresultaat kan het foutpercentage veranderen. Specificeer het design en de analyse vooraf, of gebruik een geschikte sequentiële methode. Operationele stopcondities staan los van een statistische succesverklaring.
Stopregels voor wanneer je significantie niet kunt betalen#
De meeste native en affiliate buyers kunnen geen 12.500 klikken per variant financieren, en doen alsof dat wel kan produceert nep-nauwkeurigheid. Het eerlijke alternatief is gefaseerde selectie — grover dan significantietesten, en standaardpraktijk onder buyers die tientallen creatives per maand testen:
Een financiële stopregel kan de blootstelling beperken, maar stelt geen statistische significantie vast. Als je varianten screent vóór een bevestigende test, houd dan rekening met selectie en meervoudige vergelijkingen en gebruik voor de eindbeslissing nieuw bewijs met een passend design. Een regel van 2–3× CPA of een paar duizend impressies is geen universele validatie.
Gebruik concurrentobservaties om hypotheses te vormen#
Captures van concurrenten kunnen creatieve hypotheses suggereren. Een observatieperiode van 30 dagen stelt niet vast dat een concurrent een winstgevendheidscheck heeft doorstaan, en het kiezen van een bekende invalshoek verkleint niet de steekproef die nodig is voor het gekozen statistische design.
Een uitgewerkt voorbeeld, van begin tot eind#
Stel, je draait een lead-gen aanbieding met $60 uitbetaling met één campagne die ongeveer 1.500 klikken per dag doet over je testcellen.
In een hypothetische test met gelijke toewijzing met p=0,03 en d=0,009 levert de benadering ongeveer 5.748 geschikte bezoeken per arm op. Bij 1.500 geschikte bezoeken per dag in totaal duurt het verzamelen van beide armen ongeveer 7,7 dagen, voordat rekening wordt gehouden met vertraging, cycli of andere designvereisten. Een eerdere screeningsfase garandeert geen verdedigbare winnaar na 10–12 dagen.
Een geplande duur combineert steekproefvereisten met verwacht geschikt verkeer en de timing van uitkomsten. Het is geen garantie dat het experiment een statistisch of commercieel beslissende winnaar oplevert.







