OpenAdLibraryOpenAdLibrary
Hirdetési kreatívok és tölcsérek

Mennyi ideig fusson egy hirdetés A/B teszt: A mintanagyság matematikája gyakorlatban

Az A/B teszt időtartama számtan, nem folklór: a szükséges minta osztva a várható napi megfigyelések számával. A gyakorlatban használható mintanagyság-számítás, plusz a konverziókésleltetés, a leállítási szabályok, és hogy miért nem illik minden teszthez egyetlen naptári padló vagy plafon.

Szerkesztős illusztráció: Mennyi ideig fusson egy hirdetés A/B teszt: A mintanagyság matematikája gyakorlatban

Tervezd meg az időtartamot a kísérleti egység, az alapváltozati arány, az észlelni érdemes hatás, a hibahatár, az allokáció és a várható napi megfigyelésszám alapján. Számolj a konverziókésleltetéssel és a releváns ciklusokkal is. Nincs egyetemes konverziószám- vagy naptári küszöb, amely minden hirdetéstesztet lezárttá tenne.

Az időtartam egy eredmény, nem naptári választás#

Változatokként a várható megfigyelésszám befolyásolja, mennyi idő kell a tervezett minta eléréséhez. A konverziószám önmagában nem határozza meg a szükséges mintát: add meg az alapváltozati arányt, a hatásnagyságot, a kísérleti elrendezést és a bizonytalansági feltevéseket.

  • A tesztelt metrika alapváltozati aránya – kreatívoknál a CTR, céloldalaknál és ajánlatoknál a konverziós arány.
  • Az észlelni érdemes legkisebb különbség. Egy 10%-os emelkedés észlelése sokkal több forgalmat igényel, mint egy 50%-os, és a legtöbb kis emelkedés nem éri meg az elérésükre fordított költséget.
  • Napi forgalom változatokonként – a költségvetésed és licitjeid határozzák meg.

Becsüld meg a szükséges megfigyelésszámot a választott elrendezés szerint, és oszd el a változatokonkénti várható napi megfigyelésszámmal. Ellenőrizd, hogy az így kapott időablak releváns marad-e; a négyhetes időtartam nem automatikus érvénytelenségi küszöb.

A mintanagyság matematikája, statisztikus diploma nélkül#

Egy durva tervezési közelítés két független arányra egyenlő allokációt, rögzített időhorizontot, kétoldalú 5%-os szignifikanciaszintet és 80%-os erőt használ:

n változatokonként ≈ 16 × p × (1 − p) ÷ d²

Itt p a feltételezett alapváltozati eseményarány, d pedig egy abszolút aránykülönbség. Az eredmény változatokonként megfigyelésszámot ad, például impressziókat vagy jogosult látogatásokat, nem konverziókat. A közelítést ellenőrizni kell ritka kimenetelek, egyenlőtlen allokáció, visszatérő felhasználók, klasztereződés és az elrendezéstől való egyéb eltérések esetén.

Feltételezett számítások: p=0,005 és d=0,001 esetén körülbelül 79 600 impresszió adódik változatokonként. p=0,02 és d=0,005 esetén körülbelül 12 544 jogosult látogatás változatokonként. Ha minden ilyen látogatás US$0.40-ba kerül, két kar médiaköltsége egyéb költségek nélkül nagyjából US$10,035. Ezek tervezési forgatókönyvek, nem iparági benchmarkok, és nem a szignifikancia ígéretei.

Amit tesztelsz Alapváltozat Észlelni kívánt emelkedés Minta változatokonként
CTR (kreatív) 0,5% 20% relatív ~80 000 impresszió
CTR (kreatív) 0,5% 50% relatív ~13 000 impresszió
CVR (céloldal) 2% 25% relatív ~12 500 kattintás
CVR (céloldal) 2% 50% relatív ~3 100 kattintás
CVR (ajánlat oldal) 5% 25% relatív ~4 900 kattintás

E közelítés szerint a d felére csökkentése négyszerezi a tervezett mintát. A CTR és a konverzió különböző kérdésekre válaszol: a CTR javulása nem feltétlenül javítja a hozzájárulást vagy az akvizíciós költséget. A döntés köré válaszd meg a metrikákat és a védőkorlátokat, ahelyett hogy feltételeznéd, hogy az impresszió szintű tesztelés mindig olcsóbb vagy elegendő.

Számolj a releváns ciklusokkal és a konverziókésleltetéssel#

Válassz olyan időablakot, amely reprezentálja a releváns forgalmat, és hagyja beérni a késleltetett kimeneteleket. A heti mintázatok számíthatnak, de a hét nap sem nem egyetemes minimum, sem nem bizonyíték arra, hogy az elrendezés reprezentatív.

A plafon: a hosszú tesztek belülről rohadnak#

A hosszabb időablakok változó feltételeket hozhatnak be, de egy teszt nem szűnik meg automatikusan kontrolláltnak lenni három-négy hét után. Értékeld a randomizálást, az egyidejű kitettséget, a sodródást, a késleltetett kimeneteleket és a gyakorlati relevanciát; szükség esetén módosítsd az elrendezést.

Ne kukucskálj – vagy legalább ne cselekedj a kukucskálás alapján#

Egy rögzített horizontú teszt ismételt ellenőrzése és az első kedvező szignifikanciaeredményre való leállás megváltoztathatja a hibaarányát. Határozd meg előre az elrendezést és az elemzést, vagy használj megfelelő szekvenciális módszert. A működési leállítási feltételek különböznek a statisztikai siker kihirdetésétől.

Leállítási szabályok, amikor nem engedheted meg a szignifikancia elérését#

A legtöbb natív és affiliate hirdető nem tudja finanszírozni a 12 500 kattintást változatokonként, és ennek a tagadása hamis szigorhoz vezet. A becsületes alternatíva a szakaszos kiválogatás – durvább, mint a szignifikancia tesztelés, és szokásos gyakorlat azok között a hirdetők között, akik havonta több tucat kreatívat tesztelnek:

Egy pénzügyi leállítási szabály korlátozhatja a kitettséget, de nem állapít meg statisztikai szignifikanciát. Ha a megerősítő teszt előtt szűröd a változatokat, számolj a kiválasztással és a többszörös összehasonlításokkal, és a végső döntéshez friss, megfelelően megtervezett bizonyítékot használj. A 2–3× CPA szabály vagy néhány ezer impresszió nem egyetemes érvényesítés.

A versenytársak megfigyeléseiből alkoss hipotéziseket#

A versenytársak rögzítései kreatív hipotéziseket sugallhatnak. Egy 30 napos megfigyelési időszak nem bizonyítja, hogy egy versenytárs átment egy jövedelmezőségi teszten, és egy ismerős szög kiválasztása nem csökkenti a választott statisztikai elrendezésedhez szükséges mintát.

Egy kidolgozott példa, kezdetétől a végéig#

Tegyük fel, egy 60 dolláros jutalommal járó lead-gen ajánlatot futtatsz, egyetlen kampánnyal, amely a teszt celláidon összesen kb. napi 1500 kattintást generál.

Egy feltételezett, egyenlő allokációjú tesztben, ahol p=0,03 és d=0,009, a közelítés körülbelül 5 748 jogosult látogatást ad karonként. Napi 1500 összes jogosult látogatás mellett mindkét kar összegyűjtése körülbelül 7,7 napot vesz igénybe, mielőtt a késleltetést, a ciklusokat vagy egyéb tervezési követelményeket számításba vennénk. Egy korábbi szűrési szakasz nem garantál megvédhető győztest 10–12 nap után.

Egy tervezett időtartam a minta követelményeit kombinálja a várható jogosult forgalommal és a kimenetelek időzítésével. Nem garantálja, hogy a kísérlet statisztikailag vagy kereskedelmileg döntő győztest hoz.

Gyakran ismételt kérdések

Hány konverzióra van szükség változatokonként egy hirdetés A/B tesztben?
A szükséges megfigyelésszám az alapváltozati aránytól, az abszolút hatástól, az erőtől, a hibahatártól és a kísérleti elrendezéstől függ. A bemutatott képlet durva közelítés független arányokra, nem pedig pontos konverziószám-szabály.
Elég-e 3 nap egy hirdetés A/B teszt futtatására?
A kísérleti elrendezéstől, a jogosult forgalomtól, a releváns ciklusoktól és az eredmény késleltetésétől függ. Három nap egy adott kérdéshez túl rövid lehet, de a hét nap nem egyetemes érvényességi küszöb.
CTR vagy konverziós arány alapján teszteljek hirdetéseket?
A döntéshez válaszd meg a metrikát, és építs be a folyamat további szakaszaira vonatkozó védőkorlátokat is. A CTR és a konverziós arány különböző kérdésekre válaszol; ez a cikk nem állapít meg egyetemes 10–100× költségkülönbséget.
Mi történik, ha az A/B tesztet leállítom, amint eléri a szignifikancia szintet?
Drámai módon megnöveled a hamis pozitív arányt. A napi ellenőrzés és a leállítás az első szignifikáns értéknél azt jelenti, hogy sok 'győztes' csak zaj, amely több adattal regresszióba ment volna – ez a klasszikus 'kukucskálási probléma'. Előre köteleződj el egy mintanagyság mellett, a napi ellenőrzést csak stop-loss feltételekhez (pl. hibás követés, elszabadult költség) használd, és értékeld ki az eredményt egyszer, amikor a minta teljes.
Miért állt le a győztes hirdetésváltozatom a teszt után?
A lehetséges magyarázatok között szerepel a bizonytalanság, a kiválasztási torzítás, a változó forgalom, a késleltetett eredmények és a teljesítmény tényleges változása. A cikk nem állapított meg szokásos okot; vizsgáld meg a kísérleti elrendezést és a későbbi adatokat.
Az OpenAdLibrary Csapat
ÍrtaAz OpenAdLibrary Csapat
Ad intelligencia és natív hirdetéskutatás

Mi építjük az OpenAdLibrary-t, a nyílt hirdetésátláthatósági platformot. Rendszereink naponta élő natív hirdetéseket rögzítenek a Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo és MSN hálózatokon, azonosítják az egyes hirdetések mögötti valódi hirdetőt, és követik a kattintást a céloldalig. Ezek az útmutatók összegyűjtik, amit ezekben az adatokban látunk, hogy gyorsabban kutatni tudd a piacot.