Quanto Tempo Eseguire Test A/B per Annunci: Matematica della Dimensione del Campione Applicata
La durata di un test A/B è aritmetica, non folklore: il campione richiesto diviso per le osservazioni giornaliere previste. La matematica della dimensione del campione resa utilizzabile, più il ritardo di conversione, le regole di interruzione e perché nessun limite inferiore o superiore di calendario si adatta a ogni test.

Pianifica la durata a partire dall'unità sperimentale, dal tasso di base, dall'effetto che vale la pena rilevare, dalla tolleranza all'errore, dall'allocazione e dalle osservazioni previste al giorno. Tieni conto anche del ritardo di conversione e dei cicli rilevanti. Non esiste una soglia universale di conteggio delle conversioni o di calendario che renda conclusivo ogni test per annunci.
La durata è un risultato, non una scelta di calendario#
Le osservazioni previste per variante influiscono sul tempo necessario a raggiungere un campione pianificato. I conteggi delle conversioni da soli non definiscono il campione richiesto: specifica il tasso di base, l'ampiezza dell'effetto, il disegno e le ipotesi di incertezza.
- Il tasso di base della metrica che stai testando — CTR per le creatività, conversion rate per le landing page e le offerte.
- La più piccola differenza degna di essere rilevata. Rilevare un incremento del 10% costa molto più traffico rispetto a rilevare un incremento del 50%, e la maggior parte dei piccoli incrementi non vale la spesa necessaria per vederli.
- Volume giornaliero per variante — determinato dal tuo budget e dalle tue offerte.
Stima le osservazioni richieste con il disegno scelto e dividi per le osservazioni previste per variante al giorno. Verifica se la finestra risultante resta rilevante; una durata di quattro settimane non è una soglia di invalidità automatica.
La matematica della dimensione del campione, senza il grado di statistica#
Un'approssimazione grezza di pianificazione per due proporzioni indipendenti usa allocazione uguale, un orizzonte fisso, un livello di significatività bilaterale del 5% e una potenza dell'80%:
n per variante ≈ 16 × p × (1 − p) ÷ d²
Qui p è il tasso di evento di base ipotizzato e d è una differenza assoluta tra tassi. Il risultato conta le osservazioni per variante, come impression o visite idonee, non le conversioni. L'approssimazione va verificata in caso di esiti rari, allocazione disuguale, utenti ripetuti, clustering e altre deviazioni dal disegno.
Calcoli ipotetici: p=0.005 e d=0.001 danno circa 79,600 impression per variante. p=0.02 e d=0.005 danno circa 12,544 visite idonee per variante. Se ciascuna di queste visite costa US$0.40, due bracci costano circa US$10,035 in media prima di altri costi. Questi sono scenari di pianificazione, non benchmark di settore né promesse di significatività.
| Cosa stai testando | Baseline | Incremento da rilevare | Campione per variante |
|---|---|---|---|
| CTR (creativo) | 0.5% | 20% relativo | ~80.000 impression |
| CTR (creativo) | 0.5% | 50% relativo | ~13.000 impression |
| CVR (landing) | 2% | 25% relativo | ~12.500 click |
| CVR (landing) | 2% | 50% relativo | ~3.100 click |
| CVR (pagina offerta) | 5% | 25% relativo | ~4.900 click |
Con questa approssimazione, dimezzare d quadruplica il campione pianificato. CTR e conversione rispondono a domande diverse: un miglioramento del CTR non necessariamente migliora il contributo o il costo di acquisizione. Scegli metriche e guardrail in funzione della decisione, invece di presumere che testare a livello di impression sia sempre più economico o sufficiente.
Tieni conto dei cicli rilevanti e del ritardo di conversione#
Scegli una finestra che rappresenti il traffico rilevante e consenta agli esiti ritardati di maturare. I pattern settimanali possono contare, ma sette giorni non sono né un minimo universale né la prova che il disegno sia rappresentativo.
Il limite superiore: i test lunghi marciscono dall'interno#
Finestre più lunghe possono introdurre condizioni mutevoli, ma un test non smette automaticamente di essere controllato dopo tre o quattro settimane. Valuta la randomizzazione, l'esposizione simultanea, la deriva, gli esiti ritardati e la rilevanza pratica; rivedi il disegno se necessario.
Non sbirciare — o almeno non agire sugli sbirci#
Controllare ripetutamente un test a orizzonte fisso e fermarsi al primo risultato di significatività favorevole può modificarne il tasso di errore. Pre-specifica il disegno e l'analisi, oppure usa un metodo sequenziale appropriato. Le condizioni operative di arresto sono distinte da una dichiarazione statistica di successo.
Regole di interruzione per quando non puoi permetterti la significatività#
La maggior parte degli acquirenti native e affiliate non può finanziare 12.500 click per variante, e fingere il contrario produce rigore fittizio. L'alternativa onesta è l'eliminazione a tappe — più grezza della verifica di significatività, e pratica standard tra gli acquirenti che testano decine di creatività al mese:
Una regola di arresto finanziaria può limitare l'esposizione ma non stabilisce la significatività statistica. Se selezioni le varianti prima di un test di conferma, tieni conto della selezione e dei confronti multipli e usa prove nuove, con un disegno appropriato, per la decisione finale. Una regola di 2–3× il CPA o qualche migliaio di impression non è una validazione universale.
Usa le osservazioni sui concorrenti per formulare ipotesi#
Le rilevazioni sui concorrenti possono suggerire ipotesi creative. Un arco di osservazione di 30 giorni non dimostra che un concorrente ha superato un test di redditività, e scegliere un angolo familiare non riduce il campione necessario per il disegno statistico che hai scelto.
Un esempio pratico, dall'inizio alla fine#
Supponiamo tu gestisca un'offerta lead‑gen con payout di $60 e una campagna che genera circa 1.500 click al giorno tra le tue celle di test.
In un ipotetico test con allocazione uguale, con p=0.03 e d=0.009, l'approssimazione dà circa 5,748 visite idonee per braccio. A 1,500 visite idonee totali al giorno, raccogliere entrambi i bracci richiede circa 7.7 giorni prima di tenere conto di ritardo, cicli o altri requisiti del disegno. Una fase di selezione precedente non garantisce un vincitore difendibile dopo 10–12 giorni.
Una durata pianificata combina i requisiti di campione con il traffico idoneo previsto e la tempistica degli esiti. Non è una garanzia che l'esperimento produrrà un vincitore statisticamente o commercialmente decisivo.







