Cât timp să rulezi testele A/B pentru anunțuri: Matematica dimensiunii eșantionului, în practică
Durata testului A/B este aritmetică, nu folclor: eșantionul necesar împărțit la observațiile zilnice estimate. Matematica dimensiunii eșantionului făcută utilizabilă, plus întârzierea conversiilor, regulile de oprire și de ce nicio limită minimă sau maximă de calendar nu se potrivește fiecărui test.

Planifică durata pornind de la unitatea experimentală, rata de bază, efectul care merită detectat, toleranța la eroare, alocarea și observațiile estimate pe zi. Ia în calcul și întârzierea conversiilor și ciclurile relevante. Nu există un prag universal de număr de conversii sau de calendar care să facă orice test de anunțuri concludent.
Durata este un rezultat, nu o alegere de calendar#
Observațiile estimate pe variantă afectează timpul necesar pentru a atinge un eșantion planificat. Numărul de conversii singur nu definește eșantionul necesar: precizează rata de bază, mărimea efectului, designul și ipotezele privind incertitudinea.
- Rata de bază a metricii pe care o testezi — CTR pentru creații, rata de conversie pentru paginile de destinație și oferte.
- Cea mai mică diferență care merită detectată. Detectarea unei creșteri de 10% costă mult mai mult trafic decât detectarea unei creșteri de 50%, iar majoritatea creșterilor mici nu merită cheltuiala necesară pentru a le vedea.
- Volumul zilnic per variantă — stabilit de bugetul și licitațiile tale.
Estimează observațiile necesare în cadrul designului ales și împarte la observațiile estimate pe variantă pe zi. Verifică dacă fereastra rezultată rămâne relevantă; o durată de patru săptămâni nu este un prag automat de invaliditate.
Matematica dimensiunii eșantionului, fără diplomă în statistică#
O aproximare grosieră de planificare pentru două proporții independente folosește alocare egală, un orizont fix, un nivel de semnificație bilateral de 5% și o putere de 80%:
n per variantă ≈ 16 × p × (1 − p) ÷ d²
Aici p este rata de bază presupusă a evenimentului, iar d este o diferență absolută de rată. Rezultatul numără observații pe variantă, cum ar fi impresii sau vizite eligibile, nu conversii. Aproximarea trebuie verificată pentru rezultate rare, alocare inegală, utilizatori repetiți, grupare a observațiilor și alte abateri de la design.
Calcule ipotetice: p=0.005 și d=0.001 dau aproximativ 79,600 de impresii pe variantă. p=0.02 și d=0.005 dau aproximativ 12,544 de vizite eligibile pe variantă. Dacă fiecare astfel de vizită costă US$0.40, două brațe costă aproximativ US$10,035 în media, înainte de alte costuri. Acestea sunt scenarii de planificare, nu repere din industrie sau promisiuni de semnificație.
| Ce testezi | Bază | Creștere de detectat | Eșantion per variantă |
|---|---|---|---|
| CTR (creativ) | 0,5% | 20% relativă | ~80.000 de impresii |
| CTR (creativ) | 0,5% | 50% relativă | ~13.000 de impresii |
| CVR (pagină de destinație) | 2% | 25% relativă | ~12.500 de clickuri |
| CVR (pagină de destinație) | 2% | 50% relativă | ~3.100 de clickuri |
| CVR (pagină de ofertă) | 5% | 25% relativă | ~4.900 de clickuri |
În cadrul acestei aproximări, înjumătățirea lui d quadruplează eșantionul planificat. CTR și conversia răspund la întrebări diferite: o îmbunătățire a CTR nu înseamnă neapărat o contribuție mai bună sau un cost de achiziție mai mic. Alege metricele și pragurile de protecție în funcție de decizie, în loc să presupui că testarea la nivel de impresie este întotdeauna mai ieftină sau suficientă.
Ia în calcul ciclurile relevante și întârzierea conversiilor#
Alege o fereastră care reprezintă traficul relevant și permite maturizarea rezultatelor întârziate. Tiparele săptămânale pot conta, dar șapte zile nu sunt nici un minim universal, nici o dovadă că designul este reprezentativ.
Limita maximă: testele lungi putrezesc din interior#
Ferestrele mai lungi pot introduce condiții în schimbare, dar un test nu încetează automat să fie controlat după trei sau patru săptămâni. Evaluează randomizarea, expunerea concomitentă, deriva, rezultatele întârziate și relevanța practică; revizuiește designul dacă este nevoie.
Nu te uita — sau cel puțin nu acționa pe baza privirilor#
Verificarea repetată a unui test cu orizont fix și oprirea la primul rezultat de semnificație favorabil pot schimba rata de eroare a acestuia. Predefinește designul și analiza sau folosește o metodă secvențială adecvată. Condițiile operaționale de oprire sunt diferite de declararea unui succes statistic.
Reguli de eliminare pentru când nu-ți poți permite semnificația#
Majoritatea cumpărătorilor nativi și afiliați nu pot finanța 12.500 de clickuri per variantă, iar a pretinde altceva produce o rigoare falsă. Alternativa onestă este eliminarea în etape — mai brută decât testarea semnificației, dar practică standard printre cumpărătorii care testează zeci de creații pe lună:
O regulă financiară de oprire poate limita expunerea, dar nu stabilește semnificația statistică. Dacă triezi variante înainte de un test de confirmare, ia în calcul selecția și comparațiile multiple și folosește dovezi noi, concepute adecvat, pentru decizia finală. O regulă de 2–3× CPA sau câteva mii de impresii nu reprezintă o validare universală.
Folosește observațiile despre concurenți pentru a formula ipoteze#
Capturile de la concurenți pot sugera ipoteze creative. O perioadă de observare de 30 de zile nu stabilește că un concurent a trecut un test de profitabilitate, iar alegerea unui unghi familiar nu reduce eșantionul necesar pentru designul statistic ales.
Un exemplu practic, de la cap la coadă#
Să spunem că rulezi o ofertă de generare de lead-uri cu plată de 60$, cu o campanie care face aproximativ 1.500 de clickuri pe zi pe celulele tale de test.
Într-un test ipotetic cu alocare egală, cu p=0.03 și d=0.009, aproximarea dă aproximativ 5,748 de vizite eligibile pe braț. La 1,500 de vizite eligibile în total pe zi, colectarea ambelor brațe durează aproximativ 7.7 zile, înainte de a ține cont de întârziere, cicluri sau alte cerințe de design. O etapă de triere anterioară nu garantează un câștigător defensabil după 10–12 zile.
O durată planificată combină cerințele de eșantion cu traficul eligibil estimat și cu momentul în care apar rezultatele. Nu este o garanție că experimentul va produce un câștigător decisiv din punct de vedere statistic sau comercial.







