OpenAdLibraryOpenAdLibrary
Creative publicitare & Funnels

Cât timp să rulezi testele A/B pentru anunțuri: Matematica dimensiunii eșantionului, în practică

Durata testului A/B este aritmetică, nu folclor: eșantionul necesar împărțit la observațiile zilnice estimate. Matematica dimensiunii eșantionului făcută utilizabilă, plus întârzierea conversiilor, regulile de oprire și de ce nicio limită minimă sau maximă de calendar nu se potrivește fiecărui test.

Ilustrație editorială: Cât timp să rulezi testele A/B pentru anunțuri: Matematica dimensiunii eșantionului, în practică

Planifică durata pornind de la unitatea experimentală, rata de bază, efectul care merită detectat, toleranța la eroare, alocarea și observațiile estimate pe zi. Ia în calcul și întârzierea conversiilor și ciclurile relevante. Nu există un prag universal de număr de conversii sau de calendar care să facă orice test de anunțuri concludent.

Durata este un rezultat, nu o alegere de calendar#

Observațiile estimate pe variantă afectează timpul necesar pentru a atinge un eșantion planificat. Numărul de conversii singur nu definește eșantionul necesar: precizează rata de bază, mărimea efectului, designul și ipotezele privind incertitudinea.

  • Rata de bază a metricii pe care o testezi — CTR pentru creații, rata de conversie pentru paginile de destinație și oferte.
  • Cea mai mică diferență care merită detectată. Detectarea unei creșteri de 10% costă mult mai mult trafic decât detectarea unei creșteri de 50%, iar majoritatea creșterilor mici nu merită cheltuiala necesară pentru a le vedea.
  • Volumul zilnic per variantă — stabilit de bugetul și licitațiile tale.

Estimează observațiile necesare în cadrul designului ales și împarte la observațiile estimate pe variantă pe zi. Verifică dacă fereastra rezultată rămâne relevantă; o durată de patru săptămâni nu este un prag automat de invaliditate.

Matematica dimensiunii eșantionului, fără diplomă în statistică#

O aproximare grosieră de planificare pentru două proporții independente folosește alocare egală, un orizont fix, un nivel de semnificație bilateral de 5% și o putere de 80%:

n per variantă ≈ 16 × p × (1 − p) ÷ d²

Aici p este rata de bază presupusă a evenimentului, iar d este o diferență absolută de rată. Rezultatul numără observații pe variantă, cum ar fi impresii sau vizite eligibile, nu conversii. Aproximarea trebuie verificată pentru rezultate rare, alocare inegală, utilizatori repetiți, grupare a observațiilor și alte abateri de la design.

Calcule ipotetice: p=0.005 și d=0.001 dau aproximativ 79,600 de impresii pe variantă. p=0.02 și d=0.005 dau aproximativ 12,544 de vizite eligibile pe variantă. Dacă fiecare astfel de vizită costă US$0.40, două brațe costă aproximativ US$10,035 în media, înainte de alte costuri. Acestea sunt scenarii de planificare, nu repere din industrie sau promisiuni de semnificație.

Ce testezi Bază Creștere de detectat Eșantion per variantă
CTR (creativ) 0,5% 20% relativă ~80.000 de impresii
CTR (creativ) 0,5% 50% relativă ~13.000 de impresii
CVR (pagină de destinație) 2% 25% relativă ~12.500 de clickuri
CVR (pagină de destinație) 2% 50% relativă ~3.100 de clickuri
CVR (pagină de ofertă) 5% 25% relativă ~4.900 de clickuri

În cadrul acestei aproximări, înjumătățirea lui d quadruplează eșantionul planificat. CTR și conversia răspund la întrebări diferite: o îmbunătățire a CTR nu înseamnă neapărat o contribuție mai bună sau un cost de achiziție mai mic. Alege metricele și pragurile de protecție în funcție de decizie, în loc să presupui că testarea la nivel de impresie este întotdeauna mai ieftină sau suficientă.

Ia în calcul ciclurile relevante și întârzierea conversiilor#

Alege o fereastră care reprezintă traficul relevant și permite maturizarea rezultatelor întârziate. Tiparele săptămânale pot conta, dar șapte zile nu sunt nici un minim universal, nici o dovadă că designul este reprezentativ.

Limita maximă: testele lungi putrezesc din interior#

Ferestrele mai lungi pot introduce condiții în schimbare, dar un test nu încetează automat să fie controlat după trei sau patru săptămâni. Evaluează randomizarea, expunerea concomitentă, deriva, rezultatele întârziate și relevanța practică; revizuiește designul dacă este nevoie.

Nu te uita — sau cel puțin nu acționa pe baza privirilor#

Verificarea repetată a unui test cu orizont fix și oprirea la primul rezultat de semnificație favorabil pot schimba rata de eroare a acestuia. Predefinește designul și analiza sau folosește o metodă secvențială adecvată. Condițiile operaționale de oprire sunt diferite de declararea unui succes statistic.

Reguli de eliminare pentru când nu-ți poți permite semnificația#

Majoritatea cumpărătorilor nativi și afiliați nu pot finanța 12.500 de clickuri per variantă, iar a pretinde altceva produce o rigoare falsă. Alternativa onestă este eliminarea în etape — mai brută decât testarea semnificației, dar practică standard printre cumpărătorii care testează zeci de creații pe lună:

O regulă financiară de oprire poate limita expunerea, dar nu stabilește semnificația statistică. Dacă triezi variante înainte de un test de confirmare, ia în calcul selecția și comparațiile multiple și folosește dovezi noi, concepute adecvat, pentru decizia finală. O regulă de 2–3× CPA sau câteva mii de impresii nu reprezintă o validare universală.

Folosește observațiile despre concurenți pentru a formula ipoteze#

Capturile de la concurenți pot sugera ipoteze creative. O perioadă de observare de 30 de zile nu stabilește că un concurent a trecut un test de profitabilitate, iar alegerea unui unghi familiar nu reduce eșantionul necesar pentru designul statistic ales.

Un exemplu practic, de la cap la coadă#

Să spunem că rulezi o ofertă de generare de lead-uri cu plată de 60$, cu o campanie care face aproximativ 1.500 de clickuri pe zi pe celulele tale de test.

Într-un test ipotetic cu alocare egală, cu p=0.03 și d=0.009, aproximarea dă aproximativ 5,748 de vizite eligibile pe braț. La 1,500 de vizite eligibile în total pe zi, colectarea ambelor brațe durează aproximativ 7.7 zile, înainte de a ține cont de întârziere, cicluri sau alte cerințe de design. O etapă de triere anterioară nu garantează un câștigător defensabil după 10–12 zile.

O durată planificată combină cerințele de eșantion cu traficul eligibil estimat și cu momentul în care apar rezultatele. Nu este o garanție că experimentul va produce un câștigător decisiv din punct de vedere statistic sau comercial.

Întrebări frecvente

De câte conversii am nevoie pe variantă într-un test A/B pentru anunțuri?
Observațiile necesare depind de rata de bază, efectul absolut, puterea statistică, toleranța la eroare și design. Formula afișată este o aproximare grosieră pentru proporții independente, nu o regulă precisă privind numărul de conversii.
Sunt 3 zile suficiente pentru a rula un test A/B pentru anunțuri?
Depinde de design, de traficul eligibil, de ciclurile relevante și de întârzierea rezultatelor. Trei zile pot fi prea scurte pentru o anumită întrebare, dar șapte zile nu sunt un prag universal de validitate.
Ar trebui să testez anunțurile pe CTR sau pe rata de conversie?
Alege metrica pentru decizie și include praguri de protecție pentru etapele ulterioare. CTR și rata de conversie răspund la întrebări diferite; acest articol nu stabilește o diferență universală de cost de 10–100×.
Ce se întâmplă dacă opresc un test A/B imediat ce atinge semnificația?
Incrementezi dramatic rata de fals pozitivi. Verificarea zilnică și oprirea la prima citire semnificativă înseamnă că mulți 'câștigători' sunt zgomot care ar fi regresat cu mai multe date — problema clasică de privire repetată. Angajează-te în avans la o dimensiune a eșantionului, folosește verificările zilnice doar pentru condiții de stop-loss precum urmărirea stricată sau cheltuielile scăpate de sub control, și evaluează o singură dată când eșantionul este complet.
De ce a încetat varianta mea câștigătoare de anunț să mai câștige după test?
Explicațiile posibile includ incertitudinea, părtinirea de selecție, schimbarea traficului, rezultatele întârziate și modificările reale ale performanței. Articolul nu a stabilit o cauză obișnuită; examinează designul și datele ulterioare.
Echipa OpenAdLibrary
Scris deEchipa OpenAdLibrary
Inteligență publicitară și cercetare în publicitatea nativă

Noi construim OpenAdLibrary, platforma deschisă pentru transparență publicitară. În fiecare zi, sistemele noastre capturează reclame native live pe Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo și MSN, identifică advertiserul real din spatele fiecăreia și urmăresc clicul până la pagina de destinație. Aceste ghiduri distilă ceea ce vedem în aceste date, astfel încât să poți cerceta piața mai rapid.