OpenAdLibraryOpenAdLibrary
Kreativa reklam & konverzní funily

Jak dlouho běží A/B testy reklam: Praktický výpočet velikosti vzorku

Délka A/B testu je aritmetika, ne folklór: požadovaný vzorek dělený očekávaným počtem pozorování za den. Výpočet velikosti vzorku zpřístupněný pro praxi, plus zpoždění konverze, pravidla pro ukončení a proč žádný kalendářní minimální ani maximální limit nesedí na každý test.

Ilustrační obrázek: Jak dlouho běží A/B testy reklam: Praktický výpočet velikosti vzorku

Plánujte délku podle experimentální jednotky, výchozí míry, efektu, který stojí za detekci, tolerance chyby, rozdělení a očekávaného počtu pozorování za den. Počítejte také se zpožděním konverze a relevantními cykly. Neexistuje univerzální prahová hodnota počtu konverzí ani kalendářní limit, který by učinil každý test reklamy průkazným.

Délka je výstup, ne kalendářní volba#

Očekávaný počet pozorování na variantu ovlivňuje čas potřebný k dosažení plánovaného vzorku. Pouhé počty konverzí nedefinují požadovaný vzorek: specifikujte výchozí míru, velikost efektu, design a předpoklady o nejistotě.

  • Výchozí míra metriky, kterou testujete – CTR pro kreativa, konverzní míra pro landing page a nabídky.
  • Nejmenší rozdíl, který stojí za detekci. Detekce 10% nárůstu stojí mnohem více traffic než detekce 50% nárůstu a většina malých nárůstů nestojí za výdaje potřebné k jejich odhalení.
  • Denní objem na variantu – určený vaším rozpočtem a nabídkami.

Odhadněte požadovaný počet pozorování podle zvoleného designu a vydělte jej očekávaným počtem pozorování na variantu za den. Zkontrolujte, zda výsledné okno zůstává relevantní; čtyřtýdenní délka není automatickou prahovou hodnotou neplatnosti.

Výpočet velikosti vzorku, bez statistiky#

Jedna hrubá plánovací aproximace pro dva nezávislé podíly používá rovnoměrné rozdělení, pevný horizont, oboustrannou 5% hladinu významnosti a 80% sílu:

n na variantu ≈ 16 × p × (1 − p) ÷ d²

Zde je p předpokládaná výchozí míra události a d absolutní rozdíl v míře. Výsledek počítá pozorování na variantu, jako jsou imprese nebo způsobilé návštěvy, nikoli konverze. Aproximaci je třeba ověřit pro vzácné výsledky, nerovnoměrné rozdělení, opakované uživatele, shlukování a další odchylky od designu.

Hypotetické výpočty: p=0.005 a d=0.001 dávají přibližně 79,600 impresí na variantu. p=0.02 a d=0.005 dávají přibližně 12,544 způsobilých návštěv na variantu. Pokud každá taková návštěva stojí US$0.40, obě ramena stojí přibližně US$10,035 v médiích před ostatními náklady. Jde o plánovací scénáře, nikoli o oborové benchmarky nebo sliby významnosti.

Co testujete Výchozí míra Nárůst k detekci Vzorek na variantu
CTR (kreativo) 0,5 % 20 % relativně ~80 000 impresí
CTR (kreativo) 0,5 % 50 % relativně ~13 000 impresí
CVR (lander) 2 % 25 % relativně ~12 500 kliků
CVR (lander) 2 % 50 % relativně ~3 100 kliků
CVR (nabídková stránka) 5 % 25 % relativně ~4 900 kliků

Podle této aproximace poloviční d zčtyřnásobí plánovaný vzorek. CTR a konverze odpovídají na různé otázky: zlepšení CTR nemusí zlepšit příspěvek ani náklady na akvizici. Zvolte metriky a ochranná omezení podle rozhodnutí, místo abyste předpokládali, že testování na úrovni impresí je vždy levnější nebo dostačující.

Počítejte s relevantními cykly a zpožděním konverze#

Zvolte okno, které reprezentuje relevantní traffic a umožňuje opožděným výsledkům dozrát. Týdenní vzorce mohou být důležité, ale sedm dní není univerzální minimum ani důkaz, že design je reprezentativní.

Maximum: dlouhé testy se uvnitř kazí#

Delší okna mohou přinést měnící se podmínky, ale test po třech nebo čtyřech týdnech automaticky nepřestává být kontrolovaným. Posuďte randomizaci, souběžné vystavení, drift, opožděné výsledky a praktickou relevanci; v případě potřeby design upravte.

Nenahlížejte – nebo alespoň podle nahlédnutí nejednejte#

Opakované kontrolování testu s pevným horizontem a zastavení u prvního příznivého výsledku významnosti může změnit jeho chybovost. Stanovte design a analýzu předem, nebo použijte vhodnou sekvenční metodu. Provozní podmínky zastavení se liší od statistického vyhlášení úspěchu.

Pravidla pro ukončení, když si nemůžete dovolit významnost#

Většina nativních a affiliate buyerů nemůže financovat 12 500 kliků na variantu a předstírání opaku produkuje falešnou přísnost. Čestnou alternativou je stupňované vyřazování – hrubší než testování významnosti, a standardní praxe mezi buyery, kteří testují desítky kreativ měsíčně:

Finanční pravidlo pro zastavení může omezit expozici, ale nestanovuje statistickou významnost. Pokud před potvrzujícím testem třídíte varianty, počítejte s výběrem a vícenásobným srovnáváním a pro konečné rozhodnutí použijte čerstvé, vhodně navržené důkazy. Pravidlo 2–3× CPA nebo několik tisíc impresí není univerzálním potvrzením.

Použijte pozorování konkurence k tvorbě hypotéz#

Záznamy reklam konkurence mohou naznačit hypotézy pro kreativa. 30denní období pozorování nedokazuje, že konkurent prošel testem ziskovosti, a výběr známého úhlu nesnižuje vzorek potřebný pro zvolený statistický design.

Příklad od začátku do konce#

Řekněme, že provozujete lead-gen nabídku s výplatou 60 $ s jednou kampaní, která dělá zhruba 1 500 kliků denně napříč vašimi testovacími buňkami.

V hypotetickém testu s rovnoměrným rozdělením, kde p=0.03 a d=0.009, aproximace dává přibližně 5,748 způsobilých návštěv na rameno. Při 1,500 celkových způsobilých návštěvách denně trvá nasbírání obou ramen přibližně 7.7 dne, než se zohlední zpoždění, cykly nebo další požadavky designu. Dřívější fáze třídění nezaručuje obhajitelného vítěze po 10–12 dnech.

Plánovaná délka kombinuje požadavky na vzorek s očekávaným způsobilým trafficem a načasováním výsledků. Není zárukou, že experiment přinese statisticky nebo komerčně rozhodujícího vítěze.

Často kladené otázky

Kolik konverzí potřebuji na variantu v A/B testu reklamy?
Požadovaný počet pozorování závisí na výchozí míře, absolutním efektu, síle, toleranci chyby a designu. Zobrazený vzorec je hrubá aproximace pro nezávislé podíly, nikoli přesné pravidlo pro počet konverzí.
Stačí na A/B test reklamy 3 dny?
Záleží na designu, způsobilém trafficu, relevantních cyklech a zpoždění výsledků. Tři dny mohou být pro konkrétní otázku příliš krátké, ale sedm dní není univerzální prahová hodnota platnosti.
Mám testovat reklamy na CTR nebo na konverzní míru?
Zvolte metriku podle rozhodnutí a zahrňte navazující ochranná omezení. CTR a konverzní míra odpovídají na různé otázky; tento článek nestanovuje univerzální 10–100× rozdíl v nákladech.
Co se stane, když A/B test zastavím hned, jak dosáhne statistické významnosti?
Dramaticky zvýšíte míru falešně pozitivních výsledků. Denní kontrola a zastavení při prvním významném čtení znamená, že mnoho 'vítězů' je jen šum, který by se s více daty vrátil k průměru – klasický problém nahlížení do dat. Předem si stanovte velikost vzorku, denní kontroly používejte pouze pro podmínky stop-loss (jako rozbité sledování nebo nekontrolovaný výdaj) a vyhodnoťte vítěze jednou, až bude vzorek kompletní.
Proč můj vítězný variant reklamy přestal vítězit po skončení testu?
Možná vysvětlení zahrnují nejistotu, výběrové zkreslení, měnící se traffic, opožděné výsledky a skutečné změny ve výkonu. Článek nestanovuje obvyklou příčinu; prozkoumejte design a následná data.
Tým OpenAdLibrary
Napsal/aTým OpenAdLibrary
Reklamní inteligence a výzkum nativní reklamy

Vytváříme OpenAdLibrary, otevřenou platformu pro transparentnost reklamy. Každý den naše systémy zachycují živé nativní reklamy napříč sítěmi Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo a MSN, identifikují skutečného inzerenta za každou z nich a sledují kliknutí až na cílovou stránku. Tyto průvodce shrnují, co v těchto datech vidíme, abyste mohli rychleji zkoumat trh.