Significatività Statistica (Test degli Annunci)

La significatività statistica nei test degli annunci significa che una differenza osservata tra due varianti, in CTR, tasso di conversione, o qualsiasi altra metrica, è improbabile sia il risultato del caso piuttosto che di un reale divario di performance. Risponde alla domanda che ogni media buyer alla fine si pone: la variante B è davvero migliore, o ha semplicemente avuto fortuna con un piccolo campione?

Perché i piccoli campioni mentono#

Con solo qualche click o conversione, la variazione casuale può facilmente far apparire un annuncio mediocre come vincente per un breve periodo, e un annuncio realmente forte come perdente. Un titolo che converte al vero tasso del 3% può mostrare lo 0% o il 10% su appena venti visitatori puramente per caso. I test di significatività valutano la dimensione del campione, il tasso di conversione e la grandezza del divario osservato per stimare quanto sia probabile che un risultato rimanga valido man mano che arriva più traffico.

Come i buyer lo applicano senza una laurea in statistica#

La maggior parte non esegue i calcoli a mano. Usa un calcolatore di significatività gratuito, inserisce visitatori e conversioni per ciascuna variante e verifica se il livello di confidenza supera una soglia, comunemente il 90% o il 95%, prima di dichiarare un vincitore. La regola pratica alla base di tutto ciò: più conversioni, non solo più click, è ciò che realmente costruisce la fiducia. Un test con migliaia di click ma solo poche conversioni per variante non è comunque affidabile, indipendentemente da quanto tempo sia in corso.

Una regola pratica di riferimento#

Non esiste una dimensione minima universale del campione, dipende dal tasso di conversione di base e da quanto grande sia la differenza che si vuole rilevare. Molti buyer considerano qualsiasi cosa inferiore a qualche decina di conversioni per variante come troppo esiguo per fidarsi e attendono un numero significativamente maggiore prima di riallocare un budget consistente. Su reti a volume più basso come Revcontent o MediaGo rispetto a una rete ad alto volume come Taboola, raggiungere un campione affidabile può richiedere più tempo, il che vale la pena considerare per decidere quanto aggressivamente tagliare le varianti sotto-performanti.

Perché è importante oltre i propri test#

La stessa logica si applica quando si giudica l'annuncio di un concorrente dall'esterno. Un creativo attivo solo due giorni ti dice molto meno di uno confermato per settimane, ed è per questo che la longevità degli annunci funziona come un indicatore esterno approssimativo: un annuncio che sopravvive così a lungo ha probabilmente già superato la propria soglia di significatività interna, anche se non puoi vedere i numeri reali dell'inserzionista. OpenAdLibrary registra per quanto tempo ogni creativo raccolto è stato osservato su diverse reti, fornendoti quel segnale esterno senza accedere al dashboard di nessuno. Esploralo tramite la piattaforma di intelligence pubblicitaria.

Questo è anche il motivo per cui i buyer dovrebbero essere scettici verso case study eclatanti che affermano un enorme incremento da un test minuscolo. Grandi variazioni percentuali su piccoli campioni sono esattamente ciò che il rumore casuale produce, e un risultato legittimo dovrebbe mantenersi man mano che il volume cresce, non solo apparire una volta e scomparire.