Hoe lang ad A/B-tests moeten lopen: steekproefgrootteberekening praktisch gemaakt

Draai een ad A/B-test tot elke variant genoeg conversies heeft verzameld om het verschil dat je belangrijk vindt zichtbaar te maken — niet voor een vast aantal dagen. Als praktische richtlijn betekent dat minimaal één volledige week om dag-van-de-week cycli te dekken, en ergens tussen de 50 en een paar duizend conversies per variant, afhankelijk van hoe klein een verschil je wilt detecteren. Duur is een uitkomst van rekenwerk, geen kalenderpreferentie: benodigde dagen = vereiste steekproef per variant ÷ je dagelijkse volume per variant. Dit artikel geeft je die berekening, de minimums en maximums die er boven gaan, en de goedkopere testvolgorde om te gebruiken wanneer de wiskunde zegt dat je significantie niet kunt betalen.

Duur is een uitkomst, geen kalenderkeuze#

De meeste adviezen geven je een vast antwoord — zeven dagen, veertien dagen, een maand. Dagen zijn de verkeerde eenheid. Een campagne die 40 conversies per dag genereert, lost een landertest op in ongeveer een week; dezelfde test op een campagne die er 4 per dag genereert, duurt meer dan twee maanden, tegen welke tijd het resultaat vervuild is door alles wat er tussendoor veranderde. Drie inputs bepalen je werkelijke duur:

• Het basispercentage van de metric die je test — CTR voor creatives, conversieratio voor landers en aanbiedingen.
• Het kleinste verschil dat de moeite waard is om te detecteren. Een lift van 10% detecteren kost veel meer verkeer dan een lift van 50% detecteren, en de meeste kleine lifts zijn de uitgaven niet waard die nodig zijn om ze te zien.
• Dagelijks volume per variant — bepaald door je budget en biedingen.

Bepaal de eerste twee en de vereiste steekproef volgt uit een formule. Deel door de derde en je hebt je duur. Als het antwoord langer is dan ongeveer vier weken, is de juiste actie meestal om de test te veranderen, niet om hem uit te zitten — meer daarover hieronder.

De steekproefgrootteberekening, minus de statistiekopleiding#

De standaard shortcut voor een tweevariantentest met 95% betrouwbaarheid en 80% power:

n per variant ≈ 16 × p × (1 − p) ÷ d²

waarbij p je basispercentage als decimaal is en d het absolute verschil dat je wilt detecteren. Twee uitgewerkte voorbeelden:

• Creatieve test op CTR-niveau. Basis CTR 0,5%, detecteren van een 20% relatieve lift (0,1 punten absoluut): n ≈ 16 × 0,005 × 0,995 ÷ 0,001² ≈ 80.000 impressies per variant. Native placements serveren impressies snel en goedkoop, dus dit kan in dagen worden opgelost.
• Lander test op conversieniveau. Basis conversieratio 2%, detecteren van een 25% relatieve lift (0,5 punten absoluut): n ≈ 16 × 0,02 × 0,98 ÷ 0,005² ≈ 12.500 klikken per variant. Bij een $0,40 CPC is dat een vijfcijferige test voor een enkel paar pagina's.

Twee lessen volgen uit die tabel. Ten eerste zijn kleine lifts bruut duur: het halveren van het detecteerbare verschil verviervoudigt de steekproef. Ten tweede kost testen op impressieniveau een kleine fractie van testen op klikniveau. Die asymmetrie zou je hele testprogramma moeten vormen: test creatieve invalshoeken op CTR-niveau, test funnels op conversieniveau, en test geen knopkleur-achtige veranderingen — de steekproef die nodig is om ze te detecteren, verdient zichzelf zelden terug.

Het minimum: één volledige week, wat de berekening ook zegt#

Zelfs wanneer volume je steekproef in twee dagen levert, draai minimaal zeven. Doordeweekse en weekendpublieksgroepen gedragen zich anders — verschillende mensen, verschillende apparaten, verschillende intentie. De mix van uitgevers op native netwerken roteert door de week naarmate nieuwscycli en inhoudsschema's verschuiven, dus het verkeer van dinsdag is niet dat van zaterdag. Conversievertraging voegt een tweede bias toe: de klikken van een variant op donderdag converteren mogelijk op zaterdag, dus een vroege afkap systematisch bevoordeelt welke variant toevallig als eerste zijn impressies kreeg. Een test die halverwege de week eindigt, heeft een scheve plak van je werkelijke verkeer bemonsterd, en de "winnaar" kan simpelweg de doordeweekse specialist zijn.

Het maximum: lange tests rotten van binnenuit#

Na drie tot vier weken houdt een A/B-test op een gecontroleerd experiment te zijn. Creatieve vermoeidheid doet beide varianten vervallen — zelden in hetzelfde tempo, wat rankings stilletjes midden in de test omkeert. Concurrenten komen in en uit de veiling en verschuiven je verkeerskwaliteit. Seizoensinvloeden verschuiven onder de hele vergelijking door. Als de formule zegt dat je zes weken verkeer nodig hebt, lees dat dan als een vonnis: het verschil dat je jaagt is te klein om te detecteren bij je volume. Test in plaats daarvan een grotere slag — een andere hook of invalshoek, een andere funnelstructuur — waarbij het detecteerbare verschil groot is en de steekproef betaalbaar.

Niet gluren — of in ieder geval niet handelen naar gegluur#

De klassieke faalmodus: check dagelijks het dashboard en roep de overwinning uit op de eerste dag dat de cijfers er significant uitzien. Herhaaldelijk kijken naar accumulerende data verhoogt fout-positieven dramatisch — met dagelijks gluren, vuurt een "het bereikte op een gegeven moment significantie" stopregel veel vaker dan het geadverteerde 5% foutenpercentage. Regressie naar het gemiddelde verklaart dan de meeste "mijn winnaar stopte met winnen" klachten: de variant die op dag twee vooruit sprong, reed op ruis, en drijft terug. De discipline is simpel: bepaal vooraf je steekproefgrootte, monitor dagelijks alleen voor stop-loss condities — kapotte tracking, op hol geslagen uitgaven, een variant die catastrofaal presteert — en evalueer de winnaar één keer, aan het einde.

Stopregels voor wanneer je significantie niet kunt betalen#

De meeste native en affiliate buyers kunnen geen 12.500 klikken per variant financieren, en doen alsof dat wel kan produceert nep-nauwkeurigheid. Het eerlijke alternatief is gefaseerde selectie — grover dan significantietesten, en standaardpraktijk onder buyers die tientallen creatives per maand testen:

1. CTR-selectie (dagen 1–3). Geef elke creative een paar duizend impressies, elimineer dan alles duidelijk onder het gemiddelde. Je bewijst niets — je sorteert zodat budget zich concentreert op plausibele winnaars.
2. Uitgavenbeveiliging (rollend). Een veelgebruikte praktijkregel: pauzeer elke variant die 2–3× je doel-CPA heeft uitgegeven zonder conversies. Dat is geen statistiek; het is overleving.
3. Significantie op de finalisten. Zodra twee of drie overlevenden het grootste deel van de uitgaven dragen, voer een goede conversieniveau-test tussen hen uit met de bovenstaande berekening. Je financiert één echte test in plaats van tien nep-tests.

Sla de steekproef over: begin met ads die al overleefden#

Elke variant die je niet hoeft te testen is geld bespaard, en de goedkoopste informatie over wat werkt is wat concurrenten blijven betalen om te draaien. Een ad die 30+ dagen heeft gedraaid, heeft de winstgevendheidscheck van zijn eigenaar elke dag van die run doorstaan. OpenAdLibrary's index van 725.000+ live native creatives over 49 netwerken (juni 2026) registreert eerste-gezien en laatste-gezien data voor elke creative, wat ad-longevity verandert in een filterbaar signaal in plaats van een onderbuikgevoel — de langstlopende native ads in je verticale zijn een voorgetest startraster. Bouw je test rond twee of drie invalshoeken die al in het wild bewezen zijn en je test variaties op een winnaar in plaats van koude gokken; je kunt gratis live concurrent-creatives bekijken met de native ad research tool. Minder, betere varianten betekenen kleinere steekproeven, kortere tests en minder budget verbrand aan ontdekking.

Een uitgewerkt voorbeeld, van begin tot eind#

Stel, je draait een lead-gen aanbieding met $60 uitbetaling met één campagne die ongeveer 1.500 klikken per dag doet over je testcellen.

• Creatieve fase: vier creatives concurreren op CTR-niveau. Een paar duizend impressies elk is opgelost in 2–3 dagen; selecteer de top twee.
• Lander fase: twee landers op conversieniveau. Basis CVR ongeveer 3%, detecteren van een 30% relatieve lift (0,9 punten absoluut): n ≈ 16 × 0,03 × 0,97 ÷ 0,009² ≈ 5.700 klikken per variant, ongeveer 11.400 totaal. Bij 1.500 klikken per dag is dat acht dagen — noem het een volledige week plus weekenddekking.
• Verdict: één testcyclus duurt 10–12 dagen van lancering tot een verdedigbare winnaar, met verliesuitgaven beperkt door de beveiligingsregel in plaats van te blijven draaien op hoop.

Dat is de realistische vorm van "hoe lang": een paar dagen goedkope triage, een week-plus gefocuste meting, en een kalenderlengte bepaald door je klikvolume — niet door iemands magische aantal dagen.