OpenAdLibraryOpenAdLibrary
Ad Creatives & Funnels

Hoe lang ad A/B-tests moeten lopen: steekproefgrootteberekening praktisch gemaakt

De duur van een A/B-test is rekenwerk, geen folklore: de benodigde steekproef gedeeld door verwachte dagelijkse observaties. De steekproefgrootteberekening bruikbaar gemaakt, plus conversievertraging, stopregels en waarom geen enkele kalenderondergrens of -bovengrens bij elke test past.

Redactionele illustratie: Hoe lang ad A/B-tests moeten lopen: steekproefgrootteberekening praktisch gemaakt

Plan de duur op basis van de experimentele eenheid, het basispercentage, het effect dat de moeite waard is om te detecteren, fouttolerantie, toewijzing en het verwachte aantal observaties per dag. Houd ook rekening met conversievertraging en relevante cycli. Er is geen universele drempel voor conversieaantallen of kalenderdagen die elke ad-test sluitend maakt.

Duur is een uitkomst, geen kalenderkeuze#

Verwachte observaties per variant beïnvloeden de tijd die nodig is om een geplande steekproef te bereiken. Conversieaantallen alleen bepalen niet de vereiste steekproef: specificeer het basispercentage, de effectgrootte, het design en de aannames over onzekerheid.

  • Het basispercentage van de metric die je test — CTR voor creatives, conversieratio voor landers en aanbiedingen.
  • Het kleinste verschil dat de moeite waard is om te detecteren. Een lift van 10% detecteren kost veel meer verkeer dan een lift van 50% detecteren, en de meeste kleine lifts zijn de uitgaven niet waard die nodig zijn om ze te zien.
  • Dagelijks volume per variant — bepaald door je budget en biedingen.

Schat het vereiste aantal observaties onder het gekozen design en deel door het verwachte aantal observaties per variant per dag. Controleer of het resulterende venster relevant blijft; een duur van vier weken is geen automatische ongeldigheidsdrempel.

De steekproefgrootteberekening, minus de statistiekopleiding#

Eén ruwe planningsbenadering voor twee onafhankelijke proporties gebruikt gelijke toewijzing, een vaste horizon, een tweezijdig significantieniveau van 5% en 80% power:

n per variant ≈ 16 × p × (1 − p) ÷ d²

Hier is p het veronderstelde basispercentage van de gebeurtenis en d een absoluut percentageverschil. Het resultaat telt observaties per variant, zoals impressies of geschikte bezoeken, niet conversies. De benadering moet worden gecontroleerd op zeldzame uitkomsten, ongelijke toewijzing, terugkerende gebruikers, clustering en andere afwijkingen van het design.

Hypothetische berekeningen: p=0,005 en d=0,001 leveren ongeveer 79.600 impressies per variant op. p=0,02 en d=0,005 leveren ongeveer 12.544 geschikte bezoeken per variant op. Als elk dergelijk bezoek US$0.40 kost, kosten twee armen ongeveer US$10,035 aan media vóór andere kosten. Dit zijn planningsscenario's, geen branchebenchmarks of beloftes van significantie.

Wat je test Basis Lift om te detecteren Steekproef per variant
CTR (creatief) 0,5% 20% relatief ~80.000 impressies
CTR (creatief) 0,5% 50% relatief ~13.000 impressies
CVR (lander) 2% 25% relatief ~12.500 klikken
CVR (lander) 2% 50% relatief ~3.100 klikken
CVR (aanbiedingspagina) 5% 25% relatief ~4.900 klikken

Bij deze benadering verviervoudigt het halveren van d de geplande steekproef. CTR en conversie beantwoorden verschillende vragen: een CTR-verbetering hoeft de bijdrage of de acquisitiekosten niet te verbeteren. Kies metrics en guardrails rond de beslissing, in plaats van aan te nemen dat testen op impressieniveau altijd goedkoper of voldoende is.

Houd rekening met relevante cycli en conversievertraging#

Kies een venster dat het relevante verkeer vertegenwoordigt en dat uitgestelde uitkomsten de tijd geeft om te rijpen. Weekpatronen kunnen van belang zijn, maar zeven dagen is geen universeel minimum en ook geen bewijs dat het design representatief is.

Het maximum: lange tests rotten van binnenuit#

Langere vensters kunnen veranderende omstandigheden introduceren, maar een test houdt niet automatisch op gecontroleerd te zijn na drie of vier weken. Beoordeel randomisatie, gelijktijdige blootstelling, drift, uitgestelde uitkomsten en praktische relevantie; herzie het design indien nodig.

Niet gluren — of in ieder geval niet handelen naar gegluur#

Het herhaaldelijk checken van een test met een vaste horizon en stoppen bij het eerste gunstige significantieresultaat kan het foutpercentage veranderen. Specificeer het design en de analyse vooraf, of gebruik een geschikte sequentiële methode. Operationele stopcondities staan los van een statistische succesverklaring.

Stopregels voor wanneer je significantie niet kunt betalen#

De meeste native en affiliate buyers kunnen geen 12.500 klikken per variant financieren, en doen alsof dat wel kan produceert nep-nauwkeurigheid. Het eerlijke alternatief is gefaseerde selectie — grover dan significantietesten, en standaardpraktijk onder buyers die tientallen creatives per maand testen:

Een financiële stopregel kan de blootstelling beperken, maar stelt geen statistische significantie vast. Als je varianten screent vóór een bevestigende test, houd dan rekening met selectie en meervoudige vergelijkingen en gebruik voor de eindbeslissing nieuw bewijs met een passend design. Een regel van 2–3× CPA of een paar duizend impressies is geen universele validatie.

Gebruik concurrentobservaties om hypotheses te vormen#

Captures van concurrenten kunnen creatieve hypotheses suggereren. Een observatieperiode van 30 dagen stelt niet vast dat een concurrent een winstgevendheidscheck heeft doorstaan, en het kiezen van een bekende invalshoek verkleint niet de steekproef die nodig is voor het gekozen statistische design.

Een uitgewerkt voorbeeld, van begin tot eind#

Stel, je draait een lead-gen aanbieding met $60 uitbetaling met één campagne die ongeveer 1.500 klikken per dag doet over je testcellen.

In een hypothetische test met gelijke toewijzing met p=0,03 en d=0,009 levert de benadering ongeveer 5.748 geschikte bezoeken per arm op. Bij 1.500 geschikte bezoeken per dag in totaal duurt het verzamelen van beide armen ongeveer 7,7 dagen, voordat rekening wordt gehouden met vertraging, cycli of andere designvereisten. Een eerdere screeningsfase garandeert geen verdedigbare winnaar na 10–12 dagen.

Een geplande duur combineert steekproefvereisten met verwacht geschikt verkeer en de timing van uitkomsten. Het is geen garantie dat het experiment een statistisch of commercieel beslissende winnaar oplevert.

Veelgestelde vragen

Hoeveel conversies heb ik per variant nodig in een ad A/B-test?
Het vereiste aantal observaties hangt af van het basispercentage, het absolute effect, power, fouttolerantie en design. De weergegeven formule is een ruwe benadering voor onafhankelijke proporties, geen precieze regel voor het aantal conversies.
Is 3 dagen lang genoeg om een ad A/B-test te draaien?
Dat hangt af van het design, geschikt verkeer, relevante cycli en uitkomstvertraging. Drie dagen kunnen te kort zijn voor een specifieke vraag, maar zeven dagen is geen universele geldigheidsdrempel.
Moet ik ads testen op CTR of conversieratio?
Kies de metric voor de beslissing en neem ook downstream-guardrails mee. CTR en conversieratio beantwoorden verschillende vragen; dit artikel stelt geen universeel kostenverschil van 10–100× vast.
Wat gebeurt er als ik een A/B-test stop zodra deze significantie bereikt?
Je verhoogt je fout-positief percentage dramatisch. Dagelijks controleren en stoppen bij de eerste significante meting betekent dat veel 'winnaars' ruis zijn die met meer data zouden zijn geregresseerd — het klassieke 'peeking'-probleem. Bepaal vooraf een steekproefgrootte, gebruik dagelijkse controles alleen voor stop-loss condities zoals kapotte tracking of op hol geslagen uitgaven, en evalueer één keer wanneer de steekproef compleet is.
Waarom stopte mijn winnende advariant met winnen na de test?
Mogelijke verklaringen zijn onzekerheid, selectiebias, veranderend verkeer, uitgestelde uitkomsten en daadwerkelijke veranderingen in prestaties. Het artikel heeft geen gebruikelijke oorzaak vastgesteld; onderzoek het design en de daaropvolgende data.
Het OpenAdLibrary Team
Geschreven doorHet OpenAdLibrary Team
Advertentie-intelligentie & native advertising-onderzoek

Wij bouwen OpenAdLibrary, het open advertentie-transparantieplatform. Dagelijks vangen onze systemen live native advertenties op via Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo en MSN, identificeren de echte adverteerder achter elke advertentie en volgen de klik naar de bestemmingspagina. Deze handleidingen distilleren wat wij in die data zien, zodat jij de markt sneller kunt onderzoeken.