OpenAdLibraryOpenAdLibrary
Ad Creative & Funnels

Hvor længe skal man køre A/B-tests af annoncer: Stikprøvestørrelsesmatematik gjort praktisk

Varigheden af en A/B-test er aritmetik, ikke folketro: den påkrævede stikprøve divideret med forventede daglige observationer. Stikprøvestørrelsesmatematikken gjort brugbar, plus konverteringsforsinkelse, stopregler og hvorfor hverken et kalendergulv eller -loft passer på enhver test.

Redaktionel illustration: Hvor længe skal man køre A/B-tests af annoncer: Stikprøvestørrelsesmatematik gjort praktisk

Planlæg varigheden ud fra den eksperimentelle enhed, basisraten, den effekt der er værd at opdage, fejltolerancen, allokeringen og forventede observationer pr. dag. Tag også højde for konverteringsforsinkelse og relevante cyklusser. Der findes ingen universel tærskel for antal konverteringer eller kalenderdage, der gør enhver annoncetest konklusiv.

Varighed er et output, ikke et kalendervalg#

Forventede observationer pr. variant påvirker den tid, der er nødvendig for at nå en planlagt stikprøve. Antal konverteringer alene definerer ikke den påkrævede stikprøve: angiv basisraten, effektstørrelsen, designet og antagelserne om usikkerhed.

  • Basisraten for den metrik, du tester — CTR for kreativer, konverteringsrate for landingssider og tilbud.
  • Den mindste forskel, der er værd at opdage. At opdage en 10% forbedring koster langt mere trafik end at opdage en 50% forbedring, og de fleste små forbedringer er ikke værd det forbrug, det koster at se dem.
  • Daglig volumen pr. variant — bestemt af dit budget og dine bud.

Estimer det krævede antal observationer under det valgte design, og divider med forventede observationer pr. variant pr. dag. Kontrollér, om det resulterende vindue forbliver relevant; en varighed på fire uger er ikke en automatisk ugyldighedstærskel.

Stikprøvestørrelsesmatematikken, minus statistikuddannelsen#

En grov planlægningstilnærmelse for to uafhængige andele bruger ligelig allokering, en fast horisont, et tosidet signifikansniveau på 5% og 80% styrke:

n pr. variant ≈ 16 × p × (1 − p) ÷ d²

Her er p den antagne basisrate for hændelsen, og d er en absolut rateforskel. Resultatet tæller observationer pr. variant, såsom visninger eller kvalificerede besøg, ikke konverteringer. Tilnærmelsen skal kontrolleres for sjældne udfald, ulige allokering, gentagne brugere, klyngedannelse og andre afvigelser fra designet.

Hypotetiske beregninger: p=0.005 og d=0.001 giver omkring 79,600 visninger pr. variant. p=0.02 og d=0.005 giver omkring 12,544 kvalificerede besøg pr. variant. Hvis hvert sådant besøg koster US$0.40, koster to arme omkring US$10,035 i medieforbrug før andre omkostninger. Dette er planlægningsscenarier, ikke branchebenchmarks eller løfter om signifikans.

Hvad du tester Basis Forbedring at opdage Stikprøve pr. variant
CTR (kreativ) 0,5% 20% relativ ~80.000 visninger
CTR (kreativ) 0,5% 50% relativ ~13.000 visninger
CVR (landingsside) 2% 25% relativ ~12.500 klik
CVR (landingsside) 2% 50% relativ ~3.100 klik
CVR (tilbudsside) 5% 25% relativ ~4.900 klik

Under denne tilnærmelse firedobler en halvering af d den planlagte stikprøve. CTR og konvertering besvarer forskellige spørgsmål: en forbedring af CTR behøver ikke forbedre bidraget eller anskaffelsesomkostningen. Vælg metrikker og guardrails ud fra beslutningen i stedet for at antage, at test på visningsniveau altid er billigere eller tilstrækkeligt.

Tag højde for relevante cyklusser og konverteringsforsinkelse#

Vælg et vindue, der repræsenterer den relevante trafik, og som giver forsinkede udfald tid til at modnes. Ugentlige mønstre kan have betydning, men syv dage er hverken et universelt minimum eller et bevis for, at designet er repræsentativt.

Loftet: lange tests rådner indefra#

Længere vinduer kan indføre ændrede betingelser, men en test holder ikke automatisk op med at være kontrolleret efter tre til fire uger. Vurder randomisering, samtidig eksponering, drift, forsinkede udfald og praktisk relevans; revidér designet, hvis det er nødvendigt.

Kig ikke — eller i det mindste: handle ikke på kig#

At tjekke en test med fast horisont gentagne gange og stoppe ved det første gunstige signifikansresultat kan ændre dens fejlrate. Fastlæg design og analyse på forhånd, eller brug en passende sekventiel metode. Operationelle stopbetingelser er noget andet end en statistisk erklæring om succes.

Stopregler for når du ikke har råd til signifikans#

De fleste native- og affiliate-købere kan ikke finansiere 12.500 klik pr. variant, og at lade som om andet producerer falsk strenghed. Den ærlige alternative er trinvis sortering — grovere end signifikanstestning og standardpraksis blandt købere, der tester dusinvis af kreativer om måneden:

En finansiel stopregel kan begrænse eksponeringen, men fastslår ikke statistisk signifikans. Hvis du screener varianter før en bekræftende test, skal du tage højde for selektion og multiple sammenligninger og bruge friske, passende designede data til den endelige beslutning. En regel på 2–3× CPA eller et par tusinde visninger er ikke universel validering.

Brug konkurrentobservationer til at opstille hypoteser#

Konkurrentregistreringer kan pege på kreative hypoteser. Et observationsspænd på 30 dage fastslår ikke, at en konkurrent har bestået en rentabilitetstest, og valget af en kendt vinkel reducerer ikke den stikprøve, der er nødvendig for dit valgte statistiske design.

Et gennemregnet eksempel, ende til ende#

Lad os sige, du kører et lead-gen-tilbud med $60-udbetaling med én kampagne, der giver cirka 1.500 klik om dagen på tværs af dine testceller.

I en hypotetisk test med ligelig allokering, hvor p=0.03 og d=0.009, giver tilnærmelsen omkring 5,748 kvalificerede besøg pr. arm. Ved i alt 1,500 kvalificerede besøg pr. dag tager det omkring 7.7 dage at indsamle begge arme, før der tages højde for forsinkelse, cyklusser eller andre krav i designet. Et tidligere screeningstadie garanterer ikke en forsvarlig vinder efter 10–12 dage.

En planlagt varighed kombinerer stikprøvekrav med forventet kvalificeret trafik og tidspunktet for udfaldene. Det er ikke en garanti for, at eksperimentet vil give en statistisk eller kommercielt afgørende vinder.

Ofte stillede spørgsmål

Hvor mange konverteringer har jeg brug for pr. variant i en A/B-test af en annonce?
Det krævede antal observationer afhænger af basisraten, den absolutte effekt, styrken, fejltolerancen og designet. Den viste formel er en grov tilnærmelse for uafhængige andele, ikke en præcis regel for antal konverteringer.
Er 3 dage nok til at køre en A/B-test af en annonce?
Det afhænger af designet, den kvalificerede trafik, relevante cyklusser og forsinkelsen af udfald. Tre dage kan være for kort til et bestemt spørgsmål, men syv dage er ikke en universel gyldighedstærskel.
Skal jeg teste annoncer på CTR eller konverteringsrate?
Vælg den metrik, der passer til beslutningen, og medtag efterfølgende guardrails. CTR og konverteringsrate besvarer forskellige spørgsmål; denne artikel fastslår ikke en universel 10–100× forskel i omkostninger.
Hvad sker der, hvis jeg stopper en A/B-test, så snart den når signifikans?
Du forøger din falsk-positiv-rate dramatisk. At tjekke dagligt og stoppe ved den første signifikante aflæsning betyder, at mange 'vindere' er støj, der ville have regresseret med flere data — det klassiske 'peeking'-problem. Forpligt dig på forhånd til en stikprøvestørrelse, brug daglige tjek kun til stop-loss-betingelser som ødelagt tracking eller løbsk forbrug, og evaluér én gang, når stikprøven er fuldført.
Hvorfor stoppede min vindende annoncevariant med at vinde efter testen?
Mulige forklaringer omfatter usikkerhed, selektionsbias, ændret trafik, forsinkede udfald og faktiske ændringer i præstationen. Artiklen har ikke fastslået en typisk årsag; undersøg designet og de efterfølgende data.
OpenAdLibrary-teamet
Skrevet afOpenAdLibrary-teamet
Ad-intelligence & native annoncering research

Vi bygger OpenAdLibrary, den åbne ad-transparency-platform. Hver dag indsamler vores systemer live native annoncer på tværs af Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo og MSN, identificerer den rigtige annoncør bag hver enkelt og følger klikket til dens landingsside. Disse guides destillerer, hvad vi ser i disse data, så du kan undersøge markedet hurtigere.