Jak dlouho běží A/B testy reklam: Praktický výpočet velikosti vzorku
Délka A/B testu je aritmetika, ne folklór: požadovaný vzorek dělený očekávaným počtem pozorování za den. Výpočet velikosti vzorku zpřístupněný pro praxi, plus zpoždění konverze, pravidla pro ukončení a proč žádný kalendářní minimální ani maximální limit nesedí na každý test.

Plánujte délku podle experimentální jednotky, výchozí míry, efektu, který stojí za detekci, tolerance chyby, rozdělení a očekávaného počtu pozorování za den. Počítejte také se zpožděním konverze a relevantními cykly. Neexistuje univerzální prahová hodnota počtu konverzí ani kalendářní limit, který by učinil každý test reklamy průkazným.
Délka je výstup, ne kalendářní volba#
Očekávaný počet pozorování na variantu ovlivňuje čas potřebný k dosažení plánovaného vzorku. Pouhé počty konverzí nedefinují požadovaný vzorek: specifikujte výchozí míru, velikost efektu, design a předpoklady o nejistotě.
- Výchozí míra metriky, kterou testujete – CTR pro kreativa, konverzní míra pro landing page a nabídky.
- Nejmenší rozdíl, který stojí za detekci. Detekce 10% nárůstu stojí mnohem více traffic než detekce 50% nárůstu a většina malých nárůstů nestojí za výdaje potřebné k jejich odhalení.
- Denní objem na variantu – určený vaším rozpočtem a nabídkami.
Odhadněte požadovaný počet pozorování podle zvoleného designu a vydělte jej očekávaným počtem pozorování na variantu za den. Zkontrolujte, zda výsledné okno zůstává relevantní; čtyřtýdenní délka není automatickou prahovou hodnotou neplatnosti.
Výpočet velikosti vzorku, bez statistiky#
Jedna hrubá plánovací aproximace pro dva nezávislé podíly používá rovnoměrné rozdělení, pevný horizont, oboustrannou 5% hladinu významnosti a 80% sílu:
n na variantu ≈ 16 × p × (1 − p) ÷ d²
Zde je p předpokládaná výchozí míra události a d absolutní rozdíl v míře. Výsledek počítá pozorování na variantu, jako jsou imprese nebo způsobilé návštěvy, nikoli konverze. Aproximaci je třeba ověřit pro vzácné výsledky, nerovnoměrné rozdělení, opakované uživatele, shlukování a další odchylky od designu.
Hypotetické výpočty: p=0.005 a d=0.001 dávají přibližně 79,600 impresí na variantu. p=0.02 a d=0.005 dávají přibližně 12,544 způsobilých návštěv na variantu. Pokud každá taková návštěva stojí US$0.40, obě ramena stojí přibližně US$10,035 v médiích před ostatními náklady. Jde o plánovací scénáře, nikoli o oborové benchmarky nebo sliby významnosti.
| Co testujete | Výchozí míra | Nárůst k detekci | Vzorek na variantu |
|---|---|---|---|
| CTR (kreativo) | 0,5 % | 20 % relativně | ~80 000 impresí |
| CTR (kreativo) | 0,5 % | 50 % relativně | ~13 000 impresí |
| CVR (lander) | 2 % | 25 % relativně | ~12 500 kliků |
| CVR (lander) | 2 % | 50 % relativně | ~3 100 kliků |
| CVR (nabídková stránka) | 5 % | 25 % relativně | ~4 900 kliků |
Podle této aproximace poloviční d zčtyřnásobí plánovaný vzorek. CTR a konverze odpovídají na různé otázky: zlepšení CTR nemusí zlepšit příspěvek ani náklady na akvizici. Zvolte metriky a ochranná omezení podle rozhodnutí, místo abyste předpokládali, že testování na úrovni impresí je vždy levnější nebo dostačující.
Počítejte s relevantními cykly a zpožděním konverze#
Zvolte okno, které reprezentuje relevantní traffic a umožňuje opožděným výsledkům dozrát. Týdenní vzorce mohou být důležité, ale sedm dní není univerzální minimum ani důkaz, že design je reprezentativní.
Maximum: dlouhé testy se uvnitř kazí#
Delší okna mohou přinést měnící se podmínky, ale test po třech nebo čtyřech týdnech automaticky nepřestává být kontrolovaným. Posuďte randomizaci, souběžné vystavení, drift, opožděné výsledky a praktickou relevanci; v případě potřeby design upravte.
Nenahlížejte – nebo alespoň podle nahlédnutí nejednejte#
Opakované kontrolování testu s pevným horizontem a zastavení u prvního příznivého výsledku významnosti může změnit jeho chybovost. Stanovte design a analýzu předem, nebo použijte vhodnou sekvenční metodu. Provozní podmínky zastavení se liší od statistického vyhlášení úspěchu.
Pravidla pro ukončení, když si nemůžete dovolit významnost#
Většina nativních a affiliate buyerů nemůže financovat 12 500 kliků na variantu a předstírání opaku produkuje falešnou přísnost. Čestnou alternativou je stupňované vyřazování – hrubší než testování významnosti, a standardní praxe mezi buyery, kteří testují desítky kreativ měsíčně:
Finanční pravidlo pro zastavení může omezit expozici, ale nestanovuje statistickou významnost. Pokud před potvrzujícím testem třídíte varianty, počítejte s výběrem a vícenásobným srovnáváním a pro konečné rozhodnutí použijte čerstvé, vhodně navržené důkazy. Pravidlo 2–3× CPA nebo několik tisíc impresí není univerzálním potvrzením.
Použijte pozorování konkurence k tvorbě hypotéz#
Záznamy reklam konkurence mohou naznačit hypotézy pro kreativa. 30denní období pozorování nedokazuje, že konkurent prošel testem ziskovosti, a výběr známého úhlu nesnižuje vzorek potřebný pro zvolený statistický design.
Příklad od začátku do konce#
Řekněme, že provozujete lead-gen nabídku s výplatou 60 $ s jednou kampaní, která dělá zhruba 1 500 kliků denně napříč vašimi testovacími buňkami.
V hypotetickém testu s rovnoměrným rozdělením, kde p=0.03 a d=0.009, aproximace dává přibližně 5,748 způsobilých návštěv na rameno. Při 1,500 celkových způsobilých návštěvách denně trvá nasbírání obou ramen přibližně 7.7 dne, než se zohlední zpoždění, cykly nebo další požadavky designu. Dřívější fáze třídění nezaručuje obhajitelného vítěze po 10–12 dnech.
Plánovaná délka kombinuje požadavky na vzorek s očekávaným způsobilým trafficem a načasováním výsledků. Není zárukou, že experiment přinese statisticky nebo komerčně rozhodujícího vítěze.







