Mennyi ideig fusson egy hirdetés A/B teszt: A mintanagyság matematikája gyakorlatban

Futtass egy hirdetés A/B tesztet addig, amíg minden változat annyi konverziót gyűjtött össze, hogy az általad fontosnak tartott különbség láthatóvá váljon – nem pedig egy fix számú napig. Gyakorlati szabályként ez legalább egy teljes hetet jelent a hét napjai közötti ciklusok lefedésére, és változatokonként 50 és néhány ezer konverzió közötti értéket attól függően, hogy milyen kicsi különbséget akarsz észlelni. Az időtartam a számtan eredménye, nem naptári preferencia: szükséges napok = szükséges minta változatokonként ÷ napi forgalmad változatokonként. Ez a cikk megadja ezt a számtant, azokat a padló- és plafonértékeket, amelyek felülírják, valamint az olcsóbb tesztelési sorrendet, amikor a matek szerint nem engedheted meg magadnak a szignifikancia elérését.

Az időtartam egy eredmény, nem naptári választás#

A legtöbb tanács egy fix választ ad – hét nap, tizennégy nap, egy hónap. A napok rossz mértékegység. Egy napi 40 konverziót generáló kampány egy céloldal tesztet kb. egy hét alatt megold; ugyanaz a teszt egy napi 4 konverziót generáló kampányon két hónapnál is tovább tart, addigra az eredményt minden közben változott dolog beszennyezi. Három bemenet határozza meg a valós időtartamodat:

• A tesztelt metrika alapváltozati aránya – kreatívoknál a CTR, céloldalaknál és ajánlatoknál a konverziós arány.
• Az észlelni érdemes legkisebb különbség. Egy 10%-os emelkedés észlelése sokkal több forgalmat igényel, mint egy 50%-os, és a legtöbb kis emelkedés nem éri meg az elérésükre fordított költséget.
• Napi forgalom változatokonként – a költségvetésed és licitjeid határozzák meg.

Rögzítsd az első kettőt, és a szükséges minta egy képletből kiesik. Oszd el a harmadikkal, és megvan az időtartamod. Ha a válasz kb. négy hétnél hosszabb, általában a teszt megváltoztatása a helyes lépés, nem pedig a kitartó futtatás – erről lentebb bővebben.

A mintanagyság matematikája, statisztikus diploma nélkül#

A kétváltozatos teszt szabványos rövidítése 95%-os megbízhatóság és 80%-os erő mellett:

n változatokonként ≈ 16 × p × (1 − p) ÷ d²

ahol p az alapváltozati arányod tizedestörtként, d pedig az észlelni kívánt abszolút különbség. Két kidolgozott példa:

• Kreatív teszt CTR szinten. Alap CTR 0,5%, 20%-os relatív emelkedés (0,1 pont abszolút) észlelése: n ≈ 16 × 0,005 × 0,995 ÷ 0,001² ≈ 80 000 impresszió változatokonként. A natív elhelyezések gyorsan és olcsón szolgálnak impressziókat, így ez napok alatt megoldható.
• Céloldal teszt konverzió szinten. Alap konverziós arány 2%, 25%-os relatív emelkedés (0,5 pont abszolút) észlelése: n ≈ 16 × 0,02 × 0,98 ÷ 0,005² ≈ 12 500 kattintás változatokonként. 0,40 dolláros CPC mellett ez egy ötjegyű teszt egyetlen oldalpárra.

Két tanulság következik ebből a táblázatból. Először is, a kis emelkedések brutálisan drágák: az észlelhető különbség felére csökkentése négyszerezi a mintát. Másodszor, impresszió szinten tesztelni a kattintás szintű teszt költségének töredékébe kerül. Ez az aszimmetria alakítsa az egész tesztelési programodat: teszteld a kreatív szögeket CTR szinten, a funnel-okat konverzió szinten, és egyáltalán ne tesztelj gombszín-méretű változtatásokat – a rájuk szükséges minta felderítése ritkán térül meg.

A padló: egy teljes hét, bármit is mond a matek#

Még ha a forgalom két nap alatt is szállítja a mintádat, futtass legalább hetet. A hétköznapi és hétvégi közönség másként viselkedik – más emberek, más eszközök, más szándék. A natív hálózatokon a kiadói mix a hét folyamán forog, ahogy a hírciklusok és tartalomütemtervek változnak, így a kedd forgalma nem a szombat forgalma. A konverziókésleltetés második torzítást ad: egy változat csütörtöki kattintásai szombaton konvertálhatnak, így a korai leállítás szisztematikusan kedvez annak a változatnak, amelyik véletlenül előbb kapta meg az impresszióit. Egy hét közepén véget érő teszt a valós forgalmad torz szeletét mintázta, és a "győztes" egyszerűen csak a hétköznapok specialistája lehet.

A plafon: a hosszú tesztek belülről rohadnak#

Három-négy hét után egy A/B teszt megszűnik kontrollált kísérlet lenni. A kreatív fáradás mindkét változatot rombolja – ritkán ugyanolyan sebességgel, ami csendben megfordítja a rangsort a teszt közepén. A versenytársak belépnek és kilépnek az aukcióból, és megváltoztatják a forgalmad minőségét. A szezonalitás a teljes összehasonlítás alatt sodródik. Ha a képlet szerint hat hét forgalomra van szükséged, úgy értelmezd ezt: a vadászott különbség túl kicsi az észleléshez a te forgalmad mellett. Inkább tesztelj egy nagyobb változást – egy másik horgot vagy szöget, egy másik funnel szerkezetet – ahol az észlelhető különbség nagy, és a minta megfizethető.

Ne kukucskálj – vagy legalább ne cselekedj a kukucskálás alapján#

A klasszikus bukási mód: napi szinten ellenőrzöd az irányítópultot, és győzelmet hirdetsz az első olyan napon, amikor a számok szignifikánsnak tűnnek. Az összegyűlő adatok ismételt megtekintése drámai módon növeli a hamis pozitívokat – napi kukucskálás mellett egy "valamikor elérte a szignifikancia szintet" leállítási szabály sokkal gyakrabban aktiválódik, mint a hirdetett 5%-os hibahatár. Az átlaghoz való visszaregresszió magyarázza a legtöbb "a győztesem abbahagyta a győzelmet" panaszt: a második napon előretört változat zajon lovagolt, és visszasodródik. Az egyszerű fegyelem: kötelezd el magad előre a mintanagyság mellett, a napi monitorozást csak stop-loss feltételekhez – hibás követés, elszabadult költség, katasztrofálisan teljesítő változat – használd, és értékeld ki a győztest egyszer, a végén.

Leállítási szabályok, amikor nem engedheted meg a szignifikancia elérését#

A legtöbb natív és affiliate hirdető nem tudja finanszírozni a 12 500 kattintást változatokonként, és ennek a tagadása hamis szigorhoz vezet. A becsületes alternatíva a szakaszos kiválogatás – durvább, mint a szignifikancia tesztelés, és szokásos gyakorlat azok között a hirdetők között, akik havonta több tucat kreatívat tesztelnek:

1. CTR alapú kiválogatás (1–3. nap). Adj minden kreatívnak néhány ezer impressziót, majd állítsd le mindent, ami egyértelműen a csapat alján van. Nem bizonyítasz semmit – válogatsz, hogy a költségvetés a lehetséges győztesekre koncentrálódjon.

2. Költség korlát (folyamatos). Gyakori gyakorlati szabály: állítsd bármely olyan változatot, amely 2–3× a cél CPA-d költött nulla konverzió mellett. Ez nem statisztika; ez túlélés.

3. Szignifikancia a döntősökön. Amint két-három túlélő viszi a költség nagy részét, futtass egy rendes konverzió szintű tesztet közöttük a fenti matek alapján. Egy valódi tesztet finanszírozol tíz hamis helyett.

Rövidítsd a mintát: kezdj olyan hirdetésekkel, amelyek már túlélték#

Minden olyan változat, amit nem kell tesztelned, megspórolt pénz, és a legolcsóbb információ arról, hogy mi működik, az, amit a versenytársak folyamatosan fizetnek a futtatásért. Egy 30+ napja futó hirdetés minden egyes napon átment a tulajdonosa jövedelmezőségi ellenőrzésén. Az OpenAdLibrary több mint 725 000 élő natív kreatív indexe 49 hálózaton (2026. június) rögzíti minden kreatív első és utolsó látásának dátumát, ami a hirdetés hosszú élettartamát szűrhető jellé változtatja a megérzés helyett – a leghosszabb ideje futó natív hirdetések a te vertikálidban egy előzetesen tesztelt rajtrács. Építsd a tesztedet két-három, már a vadonban bevált szögre, és egy győztes variációit teszteled hideg találgatások helyett; élő versenytárs kreatívokat böngészhetsz ingyen a natív hirdetés kutatási eszközzel. Kevesebb, jobb változat kisebb mintát, rövidebb teszteket és kevesebb költségvetést jelent a felfedezésre.

Egy kidolgozott példa, kezdetétől a végéig#

Tegyük fel, egy 60 dolláros jutalommal járó lead-gen ajánlatot futtatsz, egyetlen kampánnyal, amely a teszt celláidon összesen kb. napi 1500 kattintást generál.

• Kreatív szakasz: négy kreatív versenyez CTR szinten. Néhány ezer impresszió változatokonként 2–3 nap alatt megoldja; válogass le a két legjobbat.
• Céloldal szakasz: két céloldal konverzió szinten. Alap CVR kb. 3%, 30%-os relatív emelkedés (0,9 pont abszolút) észlelése: n ≈ 16 × 0,03 × 0,97 ÷ 0,009² ≈ 5 700 kattintás változatokonként, összesen kb. 11 400. Napi 1500 kattintás mellett ez nyolc nap – mondjuk egy teljes hét plusz hétvégi lefedés.
• Végeredmény: egy tesztciklus 10–12 napot vesz igénybe az indítástól egy megvédhető győztesig, a vesztes költséget pedig a korlát szabály korlátozza, nem pedig reményre hagyva futni.

Ez a "mennyi ideig" realisztikus alakja: néhány nap olcsó válogatás, egy hétnél hosszabb fókuszált mérés, és egy naptári hosszúság, amelyet a kattintásforgalmad diktál – nem pedig bárki varázsszáma.