Mennyi ideig fusson egy hirdetés A/B teszt: A mintanagyság matematikája gyakorlatban
Az A/B teszt időtartama számtan, nem folklór: a szükséges minta osztva a várható napi megfigyelések számával. A gyakorlatban használható mintanagyság-számítás, plusz a konverziókésleltetés, a leállítási szabályok, és hogy miért nem illik minden teszthez egyetlen naptári padló vagy plafon.

Tervezd meg az időtartamot a kísérleti egység, az alapváltozati arány, az észlelni érdemes hatás, a hibahatár, az allokáció és a várható napi megfigyelésszám alapján. Számolj a konverziókésleltetéssel és a releváns ciklusokkal is. Nincs egyetemes konverziószám- vagy naptári küszöb, amely minden hirdetéstesztet lezárttá tenne.
Az időtartam egy eredmény, nem naptári választás#
Változatokként a várható megfigyelésszám befolyásolja, mennyi idő kell a tervezett minta eléréséhez. A konverziószám önmagában nem határozza meg a szükséges mintát: add meg az alapváltozati arányt, a hatásnagyságot, a kísérleti elrendezést és a bizonytalansági feltevéseket.
- A tesztelt metrika alapváltozati aránya – kreatívoknál a CTR, céloldalaknál és ajánlatoknál a konverziós arány.
- Az észlelni érdemes legkisebb különbség. Egy 10%-os emelkedés észlelése sokkal több forgalmat igényel, mint egy 50%-os, és a legtöbb kis emelkedés nem éri meg az elérésükre fordított költséget.
- Napi forgalom változatokonként – a költségvetésed és licitjeid határozzák meg.
Becsüld meg a szükséges megfigyelésszámot a választott elrendezés szerint, és oszd el a változatokonkénti várható napi megfigyelésszámmal. Ellenőrizd, hogy az így kapott időablak releváns marad-e; a négyhetes időtartam nem automatikus érvénytelenségi küszöb.
A mintanagyság matematikája, statisztikus diploma nélkül#
Egy durva tervezési közelítés két független arányra egyenlő allokációt, rögzített időhorizontot, kétoldalú 5%-os szignifikanciaszintet és 80%-os erőt használ:
n változatokonként ≈ 16 × p × (1 − p) ÷ d²
Itt p a feltételezett alapváltozati eseményarány, d pedig egy abszolút aránykülönbség. Az eredmény változatokonként megfigyelésszámot ad, például impressziókat vagy jogosult látogatásokat, nem konverziókat. A közelítést ellenőrizni kell ritka kimenetelek, egyenlőtlen allokáció, visszatérő felhasználók, klasztereződés és az elrendezéstől való egyéb eltérések esetén.
Feltételezett számítások: p=0,005 és d=0,001 esetén körülbelül 79 600 impresszió adódik változatokonként. p=0,02 és d=0,005 esetén körülbelül 12 544 jogosult látogatás változatokonként. Ha minden ilyen látogatás US$0.40-ba kerül, két kar médiaköltsége egyéb költségek nélkül nagyjából US$10,035. Ezek tervezési forgatókönyvek, nem iparági benchmarkok, és nem a szignifikancia ígéretei.
| Amit tesztelsz | Alapváltozat | Észlelni kívánt emelkedés | Minta változatokonként |
|---|---|---|---|
| CTR (kreatív) | 0,5% | 20% relatív | ~80 000 impresszió |
| CTR (kreatív) | 0,5% | 50% relatív | ~13 000 impresszió |
| CVR (céloldal) | 2% | 25% relatív | ~12 500 kattintás |
| CVR (céloldal) | 2% | 50% relatív | ~3 100 kattintás |
| CVR (ajánlat oldal) | 5% | 25% relatív | ~4 900 kattintás |
E közelítés szerint a d felére csökkentése négyszerezi a tervezett mintát. A CTR és a konverzió különböző kérdésekre válaszol: a CTR javulása nem feltétlenül javítja a hozzájárulást vagy az akvizíciós költséget. A döntés köré válaszd meg a metrikákat és a védőkorlátokat, ahelyett hogy feltételeznéd, hogy az impresszió szintű tesztelés mindig olcsóbb vagy elegendő.
Számolj a releváns ciklusokkal és a konverziókésleltetéssel#
Válassz olyan időablakot, amely reprezentálja a releváns forgalmat, és hagyja beérni a késleltetett kimeneteleket. A heti mintázatok számíthatnak, de a hét nap sem nem egyetemes minimum, sem nem bizonyíték arra, hogy az elrendezés reprezentatív.
A plafon: a hosszú tesztek belülről rohadnak#
A hosszabb időablakok változó feltételeket hozhatnak be, de egy teszt nem szűnik meg automatikusan kontrolláltnak lenni három-négy hét után. Értékeld a randomizálást, az egyidejű kitettséget, a sodródást, a késleltetett kimeneteleket és a gyakorlati relevanciát; szükség esetén módosítsd az elrendezést.
Ne kukucskálj – vagy legalább ne cselekedj a kukucskálás alapján#
Egy rögzített horizontú teszt ismételt ellenőrzése és az első kedvező szignifikanciaeredményre való leállás megváltoztathatja a hibaarányát. Határozd meg előre az elrendezést és az elemzést, vagy használj megfelelő szekvenciális módszert. A működési leállítási feltételek különböznek a statisztikai siker kihirdetésétől.
Leállítási szabályok, amikor nem engedheted meg a szignifikancia elérését#
A legtöbb natív és affiliate hirdető nem tudja finanszírozni a 12 500 kattintást változatokonként, és ennek a tagadása hamis szigorhoz vezet. A becsületes alternatíva a szakaszos kiválogatás – durvább, mint a szignifikancia tesztelés, és szokásos gyakorlat azok között a hirdetők között, akik havonta több tucat kreatívat tesztelnek:
Egy pénzügyi leállítási szabály korlátozhatja a kitettséget, de nem állapít meg statisztikai szignifikanciát. Ha a megerősítő teszt előtt szűröd a változatokat, számolj a kiválasztással és a többszörös összehasonlításokkal, és a végső döntéshez friss, megfelelően megtervezett bizonyítékot használj. A 2–3× CPA szabály vagy néhány ezer impresszió nem egyetemes érvényesítés.
A versenytársak megfigyeléseiből alkoss hipotéziseket#
A versenytársak rögzítései kreatív hipotéziseket sugallhatnak. Egy 30 napos megfigyelési időszak nem bizonyítja, hogy egy versenytárs átment egy jövedelmezőségi teszten, és egy ismerős szög kiválasztása nem csökkenti a választott statisztikai elrendezésedhez szükséges mintát.
Egy kidolgozott példa, kezdetétől a végéig#
Tegyük fel, egy 60 dolláros jutalommal járó lead-gen ajánlatot futtatsz, egyetlen kampánnyal, amely a teszt celláidon összesen kb. napi 1500 kattintást generál.
Egy feltételezett, egyenlő allokációjú tesztben, ahol p=0,03 és d=0,009, a közelítés körülbelül 5 748 jogosult látogatást ad karonként. Napi 1500 összes jogosult látogatás mellett mindkét kar összegyűjtése körülbelül 7,7 napot vesz igénybe, mielőtt a késleltetést, a ciklusokat vagy egyéb tervezési követelményeket számításba vennénk. Egy korábbi szűrési szakasz nem garantál megvédhető győztest 10–12 nap után.
Egy tervezett időtartam a minta követelményeit kombinálja a várható jogosult forgalommal és a kimenetelek időzítésével. Nem garantálja, hogy a kísérlet statisztikailag vagy kereskedelmileg döntő győztest hoz.







