OpenAdLibraryOpenAdLibrary
Ad Creative & Funnels

Hvor lenge bør man kjøre A/B-tester for annonser: Praktisk anvendelse av utvalgsstørrelsesberegninger

Varighet på A/B-tester er regnestykker, ikke folketro: det nødvendige utvalget delt på forventede daglige observasjoner. Utvalgsstørrelsesregningen gjort praktisk, pluss konverteringsforsinkelse, stoppregler, og hvorfor verken en kalendermessig bunnlinje eller et tak passer for enhver test.

Redaksjonell illustrasjon: Hvor lenge bør man kjøre A/B-tester for annonser: Praktisk anvendelse av utvalgsstørrelsesberegninger

Planlegg varigheten ut fra den eksperimentelle enheten, baseraten, effekten som er verdt å oppdage, feiltoleransen, allokeringen og forventede observasjoner per dag. Ta også høyde for konverteringsforsinkelse og relevante sykluser. Det finnes ingen universell terskel for antall konverteringer eller kalenderdager som gjør enhver annonsetest konklusiv.

Varighet er et resultat, ikke et kalendervalg#

Forventede observasjoner per variant påvirker tiden som trengs for å nå et planlagt utvalg. Antall konverteringer alene definerer ikke det nødvendige utvalget: spesifiser baseraten, effektstørrelsen, designet og antakelsene om usikkerhet.

  • Baseraten for målet du tester — CTR for kreativer, konverteringsrate for landingssider og tilbud.
  • Den minste forskjellen verdt å oppdage. Å oppdage en 10 % heving koster langt mer trafikk enn å oppdage en 50 % heving, og de fleste små hevinger er ikke verdt utgiftene det tar å se dem.
  • Daglig volum per variant — satt av budsjettet og budene dine.

Anslå de nødvendige observasjonene under det valgte designet, og del på forventede observasjoner per variant per dag. Sjekk om vinduet du kommer fram til, fortsatt er relevant; en varighet på fire uker er ikke en automatisk ugyldighetsterskel.

Utvalgsstørrelsesregningen, uten statistikkeksamenen#

Én grov planleggingstilnærming for to uavhengige proporsjoner bruker lik allokering, en fast horisont, et tosidig signifikansnivå på 5 % og 80 % styrke:

n per variant ≈ 16 × p × (1 − p) ÷ d²

Her er p den antatte baseraten for hendelsen, og d er en absolutt forskjell i rate. Resultatet teller observasjoner per variant, som impresjoner eller kvalifiserte besøk, ikke konverteringer. Tilnærmingen må sjekkes for sjeldne utfall, ulik allokering, gjentatte brukere, klynger og andre avvik fra designet.

Hypotetiske beregninger: p=0.005 og d=0.001 gir omtrent 79,600 impresjoner per variant. p=0.02 og d=0.005 gir omtrent 12,544 kvalifiserte besøk per variant. Hvis hvert slikt besøk koster US$0.40, koster to armer omtrent US$10,035 i mediekostnader før andre kostnader. Dette er planleggingsscenarioer, ikke bransjebenchmarker eller løfter om signifikans.

Hva du tester Baserate Heving å oppdage Utvalg per variant
CTR (kreativ) 0,5% 20% relativt ~80 000 impresjoner
CTR (kreativ) 0,5% 50% relativt ~13 000 impresjoner
CVR (landingsside) 2% 25% relativt ~12 500 klikk
CVR (landingsside) 2% 50% relativt ~3 100 klikk
CVR (tilbudsside) 5% 25% relativt ~4 900 klikk

Under denne tilnærmingen firedobler en halvering av d det planlagte utvalget. CTR og konvertering svarer på forskjellige spørsmål: en CTR-forbedring trenger ikke å forbedre bidraget eller anskaffelseskostnaden. Velg måltall og beskyttelsesmål ut fra beslutningen, i stedet for å anta at testing på impresjonsnivå alltid er billigere eller tilstrekkelig.

Ta høyde for relevante sykluser og konverteringsforsinkelse#

Velg et vindu som representerer den relevante trafikken og lar forsinkede utfall modnes. Ukemønstre kan ha betydning, men sju dager er verken et universelt minimum eller et bevis på at designet er representativt.

Taket: lange tester råtner fra innsiden#

Lengre vinduer kan føre til skiftende forhold, men en test slutter ikke automatisk å være kontrollert etter tre eller fire uker. Vurder randomisering, samtidig eksponering, drift, forsinkede utfall og praktisk relevans; revider designet om nødvendig.

Ikke kikk — eller i det minste ikke handle på kikk#

Å sjekke en test med fast horisont gjentatte ganger og stoppe ved det første gunstige signifikansresultatet kan endre feilraten. Spesifiser design og analyse på forhånd, eller bruk en passende sekvensiell metode. Operasjonelle stoppbetingelser er noe annet enn en statistisk erklæring om suksess.

Stoppregler for når du ikke har råd til signifikans#

De fleste native- og affiliate-kjøpere kan ikke finansiere 12 500 klikk per variant, og å late som om de kan det, gir falsk strenghet. Den ærlige alternativen er trinnvis sortering — grovere enn signifikanstesting, og standardpraksis blant kjøpere som tester dusinvis av kreativer i måneden:

En finansiell stoppregel kan begrense eksponeringen, men etablerer ikke statistisk signifikans. Hvis du sorterer ut varianter før en bekreftende test, må du ta høyde for seleksjon og multiple sammenligninger og bruke ny, hensiktsmessig utformet evidens for den endelige beslutningen. En regel på 2–3× CPA eller noen tusen impresjoner er ikke universell validering.

Bruk observasjoner av konkurrenter til å danne hypoteser#

Konkurrentfangster kan antyde kreative hypoteser. Et observasjonsvindu på 30 dager fastslår ikke at en konkurrent besto en lønnsomhetstest, og det å velge en kjent vinkel reduserer ikke utvalget som trengs for det valgte statistiske designet.

Et utregnet eksempel fra ende til annen#

La oss si du kjører et lead-gen tilbud med $60 utbetaling, med én kampanje som gjør omtrent 1 500 klikk om dagen på tvers av testcellene dine.

I en hypotetisk test med lik allokering der p=0.03 og d=0.009, gir tilnærmingen omtrent 5,748 kvalifiserte besøk per arm. Ved 1,500 kvalifiserte besøk totalt per dag tar det omtrent 7.7 dager å samle inn begge armene, før man tar høyde for forsinkelse, sykluser eller andre designkrav. Et tidligere sorteringsstadium garanterer ikke en forsvarlig vinner etter 10–12 dager.

En planlagt varighet kombinerer utvalgskrav med forventet kvalifisert trafikk og tidspunktet for utfallene. Det er ingen garanti for at eksperimentet vil gi en statistisk eller kommersielt avgjørende vinner.

Ofte stilte spørsmål

Hvor mange konverteringer trenger jeg per variant i en A/B-test for annonser?
Nødvendige observasjoner avhenger av baseraten, den absolutte effekten, styrken, feiltoleransen og designet. Formelen som vises, er en grov tilnærming for uavhengige proporsjoner, ikke en presis regel for antall konverteringer.
Er 3 dager lenge nok til å kjøre en A/B-test for annonser?
Det avhenger av designet, kvalifisert trafikk, relevante sykluser og forsinkelse i utfallene. Tre dager kan være for kort for et bestemt spørsmål, men sju dager er ikke en universell gyldighetsterskel.
Burde jeg teste annonser på CTR eller konverteringsrate?
Velg måltallet for beslutningen og inkluder nedstrøms beskyttelsesmål. CTR og konverteringsrate svarer på forskjellige spørsmål; denne artikkelen fastslår ikke en universell kostnadsforskjell på 10–100×.
Hva skjer hvis jeg stopper en A/B-test så snart den når signifikans?
Du blåser opp falskpositiv-raten din dramatisk. Å sjekke daglig og stoppe ved den første signifikante avlesningen betyr at mange 'vinnere' er støy som ville ha regressert med mer data — det klassiske «peeking»-problemet. Forplikte deg på forhånd til en utvalgsstørrelse, bruk daglige sjekker kun for stoppbetingelser som ødelagt sporingsdata eller løpsk utgifter, og evaluer én gang når utvalget er fullført.
Hvorfor sluttet vinner-annonsevarianten min å vinne etter testen?
Mulige forklaringer inkluderer usikkerhet, seleksjonsskjevhet, endret trafikk, forsinkede utfall og faktiske endringer i ytelsen. Artikkelen har ikke fastslått en vanlig årsak; undersøk designet og de påfølgende dataene.
OpenAdLibrary-teamet
Skrevet avOpenAdLibrary-teamet
Ad-intelligens og forskning på native annonsering

Vi bygger OpenAdLibrary, den åpne annonsetransparensplattformen. Hver dag fanger systemene våre live native annonser på tvers av Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo og MSN, identifiserer den faktiske annonsøren bak hver enkelt, og følger klikket til landingssiden. Disse veiledningene destillerer det vi ser i disse dataene slik at du kan undersøke markedet raskere.