Hur länge du ska köra annons‑A/B‑tester: Praktisk beräkning av provstorlek
A/B-testlängd är aritmetik, inte folklore: den nödvändiga provstorleken delat med förväntade dagliga observationer. Provstorleksmatematiken gjord användbar, plus konverteringsfördröjning, stoppregler och varför varken ett kalendergolv eller ett kalendertak passar varje test.

Planera varaktigheten utifrån den experimentella enheten, grundnivån, den effekt som är värd att upptäcka, feltoleransen, fördelningen och förväntade observationer per dag. Ta också hänsyn till konverteringsfördröjning och relevanta cykler. Det finns ingen universell tröskel för antal konverteringar eller kalenderdagar som gör varje annonstest utslagsgivande.
Varaktigheten är ett resultat, inte ett kalenderval#
Förväntade observationer per variant påverkar tiden som behövs för att nå en planerad provstorlek. Enbart konverteringsantal definierar inte det nödvändiga provet: specificera grundnivån, effektstorleken, designen och antagandena om osäkerhet.
- Grundnivån för den metrik du testar — CTR för kreativa, conversion rate för landningssidor och erbjudanden.
- Den minsta skillnaden som är värd att upptäcka. Att upptäcka ett 10 %‑lyft kostar mycket mer trafik än att upptäcka ett 50 %‑lyft, och de flesta små lyft är inte värda den spend som krävs för att se dem.
- Daglig volym per variant — bestäms av din budget och dina bud.
Uppskatta de nödvändiga observationerna under den valda designen och dividera med förväntade observationer per variant och dag. Kontrollera om det resulterande fönstret fortfarande är relevant; en varaktighet på fyra veckor är inte en automatisk ogiltighetströskel.
Provstorleksberäkningen, utan statistikkunskap#
En grov planeringsapproximation för två oberoende proportioner använder lika fördelning, en fast horisont, en tvåsidig signifikansnivå på 5 % och 80 % styrka:
n per variant ≈ 16 × p × (1 − p) ÷ d²
Här är p den antagna grundnivån för händelser och d en absolut skillnad i nivå. Resultatet räknar observationer per variant, till exempel impressioner eller kvalificerade besök, inte konverteringar. Approximationen behöver kontrolleras för sällsynta utfall, ojämn fördelning, återkommande användare, klustring och andra avvikelser från designen.
Hypotetiska beräkningar: p=0,005 och d=0,001 ger cirka 79 600 impressioner per variant. p=0,02 och d=0,005 ger cirka 12 544 kvalificerade besök per variant. Om varje sådant besök kostar US$0.40 kostar två armar cirka US$10,035 i mediekostnad före andra kostnader. Detta är planeringsscenarier, inte branschriktmärken eller löften om signifikans.
| Vad du testar | Grundnivå | Lyft att upptäcka | Prov per variant |
|---|---|---|---|
| CTR (kreativ) | 0,5 % | 20 % relativ | ~80 000 impressioner |
| CTR (kreativ) | 0,5 % | 50 % relativ | ~13 000 impressioner |
| CVR (lander) | 2 % | 25 % relativ | ~12 500 klick |
| CVR (lander) | 2 % | 50 % relativ | ~3 100 klick |
| CVR (erbjudandesida) | 5 % | 25 % relativ | ~4 900 klick |
Enligt denna approximation fyrdubblar en halvering av d den planerade provstorleken. CTR och konvertering svarar på olika frågor: en CTR-förbättring behöver inte förbättra täckningsbidraget eller anskaffningskostnaden. Välj mätvärden och skyddsräcken utifrån beslutet, istället för att anta att testning på impressionsnivå alltid är billigare eller tillräcklig.
Ta hänsyn till relevanta cykler och konverteringsfördröjning#
Välj ett fönster som representerar den relevanta trafiken och låter fördröjda utfall mogna. Veckomönster kan spela roll, men sju dagar är varken ett universellt minimum eller ett bevis på att designen är representativ.
Taket: långa tester ruttnar inifrån#
Längre fönster kan föra in föränderliga förhållanden, men ett test upphör inte automatiskt att vara kontrollerat efter tre eller fyra veckor. Bedöm randomisering, samtidig exponering, drift, fördröjda utfall och praktisk relevans; revidera designen vid behov.
Titta inte — eller åtminstone agera inte på tittar‑ögonblick#
Att upprepade gånger kontrollera ett test med fast horisont och stoppa vid det första gynnsamma signifikansresultatet kan förändra dess felfrekvens. Förhandsbestäm design och analys, eller använd en lämplig sekventiell metod. Operativa stoppvillkor är något annat än en statistisk framgångsdeklaration.
Avbrytningsregler för när du inte har råd med signifikans#
De flesta native‑ och affiliate‑köpare kan inte finansiera 12 500 klick per variant, och att låtsas annars skapar falsk rigor. Det ärliga alternativet är stegvis cull — grövre än signifikans‑testning, och standardpraxis bland köpare som testar dussintals kreativa per månad:
En finansiell stoppregel kan begränsa exponeringen men fastställer inte statistisk signifikans. Om du screenar varianter före ett bekräftande test bör du ta hänsyn till selektion och multipla jämförelser och använda färska, lämpligt utformade bevis för det slutliga beslutet. En regel med 2–3 × CPA eller några tusen impressioner är inte universell validering.
Använd konkurrentobservationer för att forma hypoteser#
Konkurrenters annonser kan ge uppslag till kreativa hypoteser. Ett observationsfönster på 30 dagar fastställer inte att en konkurrent har klarat ett lönsamhetstest, och att välja en bekant vinkel minskar inte provet som krävs för din valda statistiska design.
Ett genomarbetat exempel, från början till slut#
Anta att du kör ett $60‑utbetalnings‑lead‑gen‑erbjudande med en kampanj som levererar ungefär 1 500 klick per dag över dina testceller.
I ett hypotetiskt test med lika fördelning där p=0,03 och d=0,009 ger approximationen cirka 5 748 kvalificerade besök per arm. Vid 1 500 kvalificerade besök totalt per dag tar insamlingen för båda armarna cirka 7,7 dagar, innan hänsyn tas till fördröjning, cykler eller andra designkrav. Ett tidigare screeningsteg garanterar inte en försvarbar vinnare efter 10–12 dagar.
En planerad varaktighet kombinerar provkrav med förväntad kvalificerad trafik och tidpunkten för utfallen. Det är ingen garanti för att experimentet kommer att ge en statistiskt eller kommersiellt utslagsgivande vinnare.







