Hvor længe skal man køre A/B-tests af annoncer: Stikprøvestørrelsesmatematik gjort praktisk
Varigheden af en A/B-test er aritmetik, ikke folketro: den påkrævede stikprøve divideret med forventede daglige observationer. Stikprøvestørrelsesmatematikken gjort brugbar, plus konverteringsforsinkelse, stopregler og hvorfor hverken et kalendergulv eller -loft passer på enhver test.

Planlæg varigheden ud fra den eksperimentelle enhed, basisraten, den effekt der er værd at opdage, fejltolerancen, allokeringen og forventede observationer pr. dag. Tag også højde for konverteringsforsinkelse og relevante cyklusser. Der findes ingen universel tærskel for antal konverteringer eller kalenderdage, der gør enhver annoncetest konklusiv.
Varighed er et output, ikke et kalendervalg#
Forventede observationer pr. variant påvirker den tid, der er nødvendig for at nå en planlagt stikprøve. Antal konverteringer alene definerer ikke den påkrævede stikprøve: angiv basisraten, effektstørrelsen, designet og antagelserne om usikkerhed.
- Basisraten for den metrik, du tester — CTR for kreativer, konverteringsrate for landingssider og tilbud.
- Den mindste forskel, der er værd at opdage. At opdage en 10% forbedring koster langt mere trafik end at opdage en 50% forbedring, og de fleste små forbedringer er ikke værd det forbrug, det koster at se dem.
- Daglig volumen pr. variant — bestemt af dit budget og dine bud.
Estimer det krævede antal observationer under det valgte design, og divider med forventede observationer pr. variant pr. dag. Kontrollér, om det resulterende vindue forbliver relevant; en varighed på fire uger er ikke en automatisk ugyldighedstærskel.
Stikprøvestørrelsesmatematikken, minus statistikuddannelsen#
En grov planlægningstilnærmelse for to uafhængige andele bruger ligelig allokering, en fast horisont, et tosidet signifikansniveau på 5% og 80% styrke:
n pr. variant ≈ 16 × p × (1 − p) ÷ d²
Her er p den antagne basisrate for hændelsen, og d er en absolut rateforskel. Resultatet tæller observationer pr. variant, såsom visninger eller kvalificerede besøg, ikke konverteringer. Tilnærmelsen skal kontrolleres for sjældne udfald, ulige allokering, gentagne brugere, klyngedannelse og andre afvigelser fra designet.
Hypotetiske beregninger: p=0.005 og d=0.001 giver omkring 79,600 visninger pr. variant. p=0.02 og d=0.005 giver omkring 12,544 kvalificerede besøg pr. variant. Hvis hvert sådant besøg koster US$0.40, koster to arme omkring US$10,035 i medieforbrug før andre omkostninger. Dette er planlægningsscenarier, ikke branchebenchmarks eller løfter om signifikans.
| Hvad du tester | Basis | Forbedring at opdage | Stikprøve pr. variant |
|---|---|---|---|
| CTR (kreativ) | 0,5% | 20% relativ | ~80.000 visninger |
| CTR (kreativ) | 0,5% | 50% relativ | ~13.000 visninger |
| CVR (landingsside) | 2% | 25% relativ | ~12.500 klik |
| CVR (landingsside) | 2% | 50% relativ | ~3.100 klik |
| CVR (tilbudsside) | 5% | 25% relativ | ~4.900 klik |
Under denne tilnærmelse firedobler en halvering af d den planlagte stikprøve. CTR og konvertering besvarer forskellige spørgsmål: en forbedring af CTR behøver ikke forbedre bidraget eller anskaffelsesomkostningen. Vælg metrikker og guardrails ud fra beslutningen i stedet for at antage, at test på visningsniveau altid er billigere eller tilstrækkeligt.
Tag højde for relevante cyklusser og konverteringsforsinkelse#
Vælg et vindue, der repræsenterer den relevante trafik, og som giver forsinkede udfald tid til at modnes. Ugentlige mønstre kan have betydning, men syv dage er hverken et universelt minimum eller et bevis for, at designet er repræsentativt.
Loftet: lange tests rådner indefra#
Længere vinduer kan indføre ændrede betingelser, men en test holder ikke automatisk op med at være kontrolleret efter tre til fire uger. Vurder randomisering, samtidig eksponering, drift, forsinkede udfald og praktisk relevans; revidér designet, hvis det er nødvendigt.
Kig ikke — eller i det mindste: handle ikke på kig#
At tjekke en test med fast horisont gentagne gange og stoppe ved det første gunstige signifikansresultat kan ændre dens fejlrate. Fastlæg design og analyse på forhånd, eller brug en passende sekventiel metode. Operationelle stopbetingelser er noget andet end en statistisk erklæring om succes.
Stopregler for når du ikke har råd til signifikans#
De fleste native- og affiliate-købere kan ikke finansiere 12.500 klik pr. variant, og at lade som om andet producerer falsk strenghed. Den ærlige alternative er trinvis sortering — grovere end signifikanstestning og standardpraksis blandt købere, der tester dusinvis af kreativer om måneden:
En finansiel stopregel kan begrænse eksponeringen, men fastslår ikke statistisk signifikans. Hvis du screener varianter før en bekræftende test, skal du tage højde for selektion og multiple sammenligninger og bruge friske, passende designede data til den endelige beslutning. En regel på 2–3× CPA eller et par tusinde visninger er ikke universel validering.
Brug konkurrentobservationer til at opstille hypoteser#
Konkurrentregistreringer kan pege på kreative hypoteser. Et observationsspænd på 30 dage fastslår ikke, at en konkurrent har bestået en rentabilitetstest, og valget af en kendt vinkel reducerer ikke den stikprøve, der er nødvendig for dit valgte statistiske design.
Et gennemregnet eksempel, ende til ende#
Lad os sige, du kører et lead-gen-tilbud med $60-udbetaling med én kampagne, der giver cirka 1.500 klik om dagen på tværs af dine testceller.
I en hypotetisk test med ligelig allokering, hvor p=0.03 og d=0.009, giver tilnærmelsen omkring 5,748 kvalificerede besøg pr. arm. Ved i alt 1,500 kvalificerede besøg pr. dag tager det omkring 7.7 dage at indsamle begge arme, før der tages højde for forsinkelse, cyklusser eller andre krav i designet. Et tidligere screeningstadie garanterer ikke en forsvarlig vinder efter 10–12 dage.
En planlagt varighed kombinerer stikprøvekrav med forventet kvalificeret trafik og tidspunktet for udfaldene. Det er ikke en garanti for, at eksperimentet vil give en statistisk eller kommercielt afgørende vinder.







