OpenAdLibraryOpenAdLibrary
Creatività Pubblicitaria & Funnel

Quanto Tempo Eseguire Test A/B per Annunci: Matematica della Dimensione del Campione Applicata

La durata di un test A/B è aritmetica, non folklore: il campione richiesto diviso per le osservazioni giornaliere previste. La matematica della dimensione del campione resa utilizzabile, più il ritardo di conversione, le regole di interruzione e perché nessun limite inferiore o superiore di calendario si adatta a ogni test.

Illustrazione editoriale: Quanto Tempo Eseguire Test A/B per Annunci: Matematica della Dimensione del Campione Applicata

Pianifica la durata a partire dall'unità sperimentale, dal tasso di base, dall'effetto che vale la pena rilevare, dalla tolleranza all'errore, dall'allocazione e dalle osservazioni previste al giorno. Tieni conto anche del ritardo di conversione e dei cicli rilevanti. Non esiste una soglia universale di conteggio delle conversioni o di calendario che renda conclusivo ogni test per annunci.

La durata è un risultato, non una scelta di calendario#

Le osservazioni previste per variante influiscono sul tempo necessario a raggiungere un campione pianificato. I conteggi delle conversioni da soli non definiscono il campione richiesto: specifica il tasso di base, l'ampiezza dell'effetto, il disegno e le ipotesi di incertezza.

  • Il tasso di base della metrica che stai testando — CTR per le creatività, conversion rate per le landing page e le offerte.
  • La più piccola differenza degna di essere rilevata. Rilevare un incremento del 10% costa molto più traffico rispetto a rilevare un incremento del 50%, e la maggior parte dei piccoli incrementi non vale la spesa necessaria per vederli.
  • Volume giornaliero per variante — determinato dal tuo budget e dalle tue offerte.

Stima le osservazioni richieste con il disegno scelto e dividi per le osservazioni previste per variante al giorno. Verifica se la finestra risultante resta rilevante; una durata di quattro settimane non è una soglia di invalidità automatica.

La matematica della dimensione del campione, senza il grado di statistica#

Un'approssimazione grezza di pianificazione per due proporzioni indipendenti usa allocazione uguale, un orizzonte fisso, un livello di significatività bilaterale del 5% e una potenza dell'80%:

n per variante ≈ 16 × p × (1 − p) ÷ d²

Qui p è il tasso di evento di base ipotizzato e d è una differenza assoluta tra tassi. Il risultato conta le osservazioni per variante, come impression o visite idonee, non le conversioni. L'approssimazione va verificata in caso di esiti rari, allocazione disuguale, utenti ripetuti, clustering e altre deviazioni dal disegno.

Calcoli ipotetici: p=0.005 e d=0.001 danno circa 79,600 impression per variante. p=0.02 e d=0.005 danno circa 12,544 visite idonee per variante. Se ciascuna di queste visite costa US$0.40, due bracci costano circa US$10,035 in media prima di altri costi. Questi sono scenari di pianificazione, non benchmark di settore né promesse di significatività.

Cosa stai testando Baseline Incremento da rilevare Campione per variante
CTR (creativo) 0.5% 20% relativo ~80.000 impression
CTR (creativo) 0.5% 50% relativo ~13.000 impression
CVR (landing) 2% 25% relativo ~12.500 click
CVR (landing) 2% 50% relativo ~3.100 click
CVR (pagina offerta) 5% 25% relativo ~4.900 click

Con questa approssimazione, dimezzare d quadruplica il campione pianificato. CTR e conversione rispondono a domande diverse: un miglioramento del CTR non necessariamente migliora il contributo o il costo di acquisizione. Scegli metriche e guardrail in funzione della decisione, invece di presumere che testare a livello di impression sia sempre più economico o sufficiente.

Tieni conto dei cicli rilevanti e del ritardo di conversione#

Scegli una finestra che rappresenti il traffico rilevante e consenta agli esiti ritardati di maturare. I pattern settimanali possono contare, ma sette giorni non sono né un minimo universale né la prova che il disegno sia rappresentativo.

Il limite superiore: i test lunghi marciscono dall'interno#

Finestre più lunghe possono introdurre condizioni mutevoli, ma un test non smette automaticamente di essere controllato dopo tre o quattro settimane. Valuta la randomizzazione, l'esposizione simultanea, la deriva, gli esiti ritardati e la rilevanza pratica; rivedi il disegno se necessario.

Non sbirciare — o almeno non agire sugli sbirci#

Controllare ripetutamente un test a orizzonte fisso e fermarsi al primo risultato di significatività favorevole può modificarne il tasso di errore. Pre-specifica il disegno e l'analisi, oppure usa un metodo sequenziale appropriato. Le condizioni operative di arresto sono distinte da una dichiarazione statistica di successo.

Regole di interruzione per quando non puoi permetterti la significatività#

La maggior parte degli acquirenti native e affiliate non può finanziare 12.500 click per variante, e fingere il contrario produce rigore fittizio. L'alternativa onesta è l'eliminazione a tappe — più grezza della verifica di significatività, e pratica standard tra gli acquirenti che testano decine di creatività al mese:

Una regola di arresto finanziaria può limitare l'esposizione ma non stabilisce la significatività statistica. Se selezioni le varianti prima di un test di conferma, tieni conto della selezione e dei confronti multipli e usa prove nuove, con un disegno appropriato, per la decisione finale. Una regola di 2–3× il CPA o qualche migliaio di impression non è una validazione universale.

Usa le osservazioni sui concorrenti per formulare ipotesi#

Le rilevazioni sui concorrenti possono suggerire ipotesi creative. Un arco di osservazione di 30 giorni non dimostra che un concorrente ha superato un test di redditività, e scegliere un angolo familiare non riduce il campione necessario per il disegno statistico che hai scelto.

Un esempio pratico, dall'inizio alla fine#

Supponiamo tu gestisca un'offerta lead‑gen con payout di $60 e una campagna che genera circa 1.500 click al giorno tra le tue celle di test.

In un ipotetico test con allocazione uguale, con p=0.03 e d=0.009, l'approssimazione dà circa 5,748 visite idonee per braccio. A 1,500 visite idonee totali al giorno, raccogliere entrambi i bracci richiede circa 7.7 giorni prima di tenere conto di ritardo, cicli o altri requisiti del disegno. Una fase di selezione precedente non garantisce un vincitore difendibile dopo 10–12 giorni.

Una durata pianificata combina i requisiti di campione con il traffico idoneo previsto e la tempistica degli esiti. Non è una garanzia che l'esperimento produrrà un vincitore statisticamente o commercialmente decisivo.

Domande frequenti

Quante conversioni servono per variante in un test A/B per annunci?
Le osservazioni richieste dipendono dal tasso di base, dall'effetto assoluto, dalla potenza, dalla tolleranza all'errore e dal disegno. La formula mostrata è un'approssimazione grezza per proporzioni indipendenti, non una regola precisa sul conteggio delle conversioni.
Sono sufficienti 3 giorni per eseguire un test A/B per annunci?
Dipende dal disegno, dal traffico idoneo, dai cicli rilevanti e dal ritardo degli esiti. Tre giorni possono essere troppo pochi per una determinata domanda, ma sette giorni non sono una soglia di validità universale.
Devo testare gli annunci su CTR o tasso di conversione?
Scegli la metrica in base alla decisione e includi guardrail a valle. CTR e tasso di conversione rispondono a domande diverse; questo articolo non stabilisce una differenza di costo universale di 10–100×.
Cosa succede se interrompo un test A/B non appena raggiunge la significatività?
Inflazioni drasticamente il tuo tasso di falsi positivi. Controllare quotidianamente e fermarsi al primo risultato significativo significa che molti "vincitori" sono rumore che sarebbe retrocesso con più dati — il classico problema del peek. Pre-impegna una dimensione del campione, usa i controlli giornalieri solo per condizioni di stop‑loss come tracciamento interrotto o spesa incontrollata, e valuta una sola volta quando il campione è completo.
Perché la variante vincente del mio annuncio ha smesso di vincere dopo il test?
Le possibili spiegazioni includono l'incertezza, il bias di selezione, il traffico che cambia, gli esiti ritardati e cambiamenti reali nella performance. L'articolo non ha stabilito una causa abituale; esamina il disegno e i dati successivi.
Il Team di OpenAdLibrary
Scritto daIl Team di OpenAdLibrary
Intelligence pubblicitaria e ricerca sulla pubblicità nativa

Sviluppiamo OpenAdLibrary, la piattaforma aperta per la trasparenza pubblicitaria. Ogni giorno i nostri sistemi catturano annunci nativi live su Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo e MSN, identificano il vero inserzionista dietro ciascuno e seguono il clic fino alla sua landing page. Queste guide distillano ciò che osserviamo in quei dati, permettendoti di analizzare il mercato più rapidamente.