OpenAdLibraryOpenAdLibrary
Annonskreativitet & Funnels

Hur länge du ska köra annons‑A/B‑tester: Praktisk beräkning av provstorlek

A/B-testlängd är aritmetik, inte folklore: den nödvändiga provstorleken delat med förväntade dagliga observationer. Provstorleksmatematiken gjord användbar, plus konverteringsfördröjning, stoppregler och varför varken ett kalendergolv eller ett kalendertak passar varje test.

Redaktionell illustration: Hur länge du ska köra annons‑A/B‑tester: Praktisk beräkning av provstorlek

Planera varaktigheten utifrån den experimentella enheten, grundnivån, den effekt som är värd att upptäcka, feltoleransen, fördelningen och förväntade observationer per dag. Ta också hänsyn till konverteringsfördröjning och relevanta cykler. Det finns ingen universell tröskel för antal konverteringar eller kalenderdagar som gör varje annonstest utslagsgivande.

Varaktigheten är ett resultat, inte ett kalenderval#

Förväntade observationer per variant påverkar tiden som behövs för att nå en planerad provstorlek. Enbart konverteringsantal definierar inte det nödvändiga provet: specificera grundnivån, effektstorleken, designen och antagandena om osäkerhet.

  • Grundnivån för den metrik du testar — CTR för kreativa, conversion rate för landningssidor och erbjudanden.
  • Den minsta skillnaden som är värd att upptäcka. Att upptäcka ett 10 %‑lyft kostar mycket mer trafik än att upptäcka ett 50 %‑lyft, och de flesta små lyft är inte värda den spend som krävs för att se dem.
  • Daglig volym per variant — bestäms av din budget och dina bud.

Uppskatta de nödvändiga observationerna under den valda designen och dividera med förväntade observationer per variant och dag. Kontrollera om det resulterande fönstret fortfarande är relevant; en varaktighet på fyra veckor är inte en automatisk ogiltighetströskel.

Provstorleksberäkningen, utan statistikkunskap#

En grov planeringsapproximation för två oberoende proportioner använder lika fördelning, en fast horisont, en tvåsidig signifikansnivå på 5 % och 80 % styrka:

n per variant ≈ 16 × p × (1 − p) ÷ d²

Här är p den antagna grundnivån för händelser och d en absolut skillnad i nivå. Resultatet räknar observationer per variant, till exempel impressioner eller kvalificerade besök, inte konverteringar. Approximationen behöver kontrolleras för sällsynta utfall, ojämn fördelning, återkommande användare, klustring och andra avvikelser från designen.

Hypotetiska beräkningar: p=0,005 och d=0,001 ger cirka 79 600 impressioner per variant. p=0,02 och d=0,005 ger cirka 12 544 kvalificerade besök per variant. Om varje sådant besök kostar US$0.40 kostar två armar cirka US$10,035 i mediekostnad före andra kostnader. Detta är planeringsscenarier, inte branschriktmärken eller löften om signifikans.

Vad du testar Grundnivå Lyft att upptäcka Prov per variant
CTR (kreativ) 0,5 % 20 % relativ ~80 000 impressioner
CTR (kreativ) 0,5 % 50 % relativ ~13 000 impressioner
CVR (lander) 2 % 25 % relativ ~12 500 klick
CVR (lander) 2 % 50 % relativ ~3 100 klick
CVR (erbjudandesida) 5 % 25 % relativ ~4 900 klick

Enligt denna approximation fyrdubblar en halvering av d den planerade provstorleken. CTR och konvertering svarar på olika frågor: en CTR-förbättring behöver inte förbättra täckningsbidraget eller anskaffningskostnaden. Välj mätvärden och skyddsräcken utifrån beslutet, istället för att anta att testning på impressionsnivå alltid är billigare eller tillräcklig.

Ta hänsyn till relevanta cykler och konverteringsfördröjning#

Välj ett fönster som representerar den relevanta trafiken och låter fördröjda utfall mogna. Veckomönster kan spela roll, men sju dagar är varken ett universellt minimum eller ett bevis på att designen är representativ.

Taket: långa tester ruttnar inifrån#

Längre fönster kan föra in föränderliga förhållanden, men ett test upphör inte automatiskt att vara kontrollerat efter tre eller fyra veckor. Bedöm randomisering, samtidig exponering, drift, fördröjda utfall och praktisk relevans; revidera designen vid behov.

Titta inte — eller åtminstone agera inte på tittar‑ögonblick#

Att upprepade gånger kontrollera ett test med fast horisont och stoppa vid det första gynnsamma signifikansresultatet kan förändra dess felfrekvens. Förhandsbestäm design och analys, eller använd en lämplig sekventiell metod. Operativa stoppvillkor är något annat än en statistisk framgångsdeklaration.

Avbrytningsregler för när du inte har råd med signifikans#

De flesta native‑ och affiliate‑köpare kan inte finansiera 12 500 klick per variant, och att låtsas annars skapar falsk rigor. Det ärliga alternativet är stegvis cull — grövre än signifikans‑testning, och standardpraxis bland köpare som testar dussintals kreativa per månad:

En finansiell stoppregel kan begränsa exponeringen men fastställer inte statistisk signifikans. Om du screenar varianter före ett bekräftande test bör du ta hänsyn till selektion och multipla jämförelser och använda färska, lämpligt utformade bevis för det slutliga beslutet. En regel med 2–3 × CPA eller några tusen impressioner är inte universell validering.

Använd konkurrentobservationer för att forma hypoteser#

Konkurrenters annonser kan ge uppslag till kreativa hypoteser. Ett observationsfönster på 30 dagar fastställer inte att en konkurrent har klarat ett lönsamhetstest, och att välja en bekant vinkel minskar inte provet som krävs för din valda statistiska design.

Ett genomarbetat exempel, från början till slut#

Anta att du kör ett $60‑utbetalnings‑lead‑gen‑erbjudande med en kampanj som levererar ungefär 1 500 klick per dag över dina testceller.

I ett hypotetiskt test med lika fördelning där p=0,03 och d=0,009 ger approximationen cirka 5 748 kvalificerade besök per arm. Vid 1 500 kvalificerade besök totalt per dag tar insamlingen för båda armarna cirka 7,7 dagar, innan hänsyn tas till fördröjning, cykler eller andra designkrav. Ett tidigare screeningsteg garanterar inte en försvarbar vinnare efter 10–12 dagar.

En planerad varaktighet kombinerar provkrav med förväntad kvalificerad trafik och tidpunkten för utfallen. Det är ingen garanti för att experimentet kommer att ge en statistiskt eller kommersiellt utslagsgivande vinnare.

Vanliga frågor

Hur många konverteringar behöver jag per variant i ett annons-A/B-test?
Nödvändiga observationer beror på grundnivån, den absoluta effekten, styrkan, feltoleransen och designen. Formeln som visas är en grov uppskattning för oberoende proportioner, inte en exakt regel för antalet konverteringar.
Är 3 dagar tillräckligt länge för att köra ett annons-A/B-test?
Det beror på designen, den kvalificerade trafiken, relevanta cykler och fördröjningen av utfall. Tre dagar kan vara för kort för en viss fråga, men sju dagar är inte en universell giltighetströskel.
Bör jag testa annonser på CTR eller konverteringsgrad?
Välj mätvärde utifrån beslutet och inkludera nedströms skyddsräcken. CTR och konverteringsgrad svarar på olika frågor; den här artikeln fastställer ingen universell kostnadsskillnad på 10–100 ×.
Vad händer om jag stoppar ett A/B‑test så snart det blir signifikant?
Du ökar din falska‑positiva‑frekvens dramatiskt. Att kontrollera dagligen och stoppa vid den första signifikanta avläsningen betyder att många "vinnare" är brus som skulle ha återgått med mer data – det klassiska peek‑problemet. Förhandsbestäm en provstorlek, använd dagliga kontroller endast för stop‑loss‑förhållanden som trasig spårning eller okontrollerad spend, och utvärdera en gång när provet är komplett.
Varför slutade min vinnande annonsvariant vinna efter testet?
Möjliga förklaringar är osäkerhet, selektionsbias, förändrad trafik, fördröjda utfall och faktiska förändringar i prestanda. Artikeln har inte fastställt någon vanlig orsak; granska designen och efterföljande data.
OpenAdLibrary-teamet
Skriven avOpenAdLibrary-teamet
Annonsintelligens & forskning om native advertising

Vi bygger OpenAdLibrary, den öppna plattformen för annonstransparens. Varje dag fångar våra system levande native-annonser på Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo och MSN, identifierar den verkliga annonsören bakom varje annons och följer klicket till dess landningssida. Dessa guider destillerar vad vi ser i den datan så att du snabbare kan forska på marknaden.