Test di Incrementalità: Definizione e Come Funziona

Il test di incrementalità è un esperimento controllato che stima quanto dell'attività di conversione riportata per un canale pubblicitario sia stata effettivamente causata dalla pubblicità, piuttosto che basarsi sulle conversioni che il tracciamento della piattaforma attribuisce ai suoi annunci. Si trattiene un gruppo di utenti o aree geografiche dal vedere gli annunci di un canale specifico, per poi confrontare il risultato con un gruppo che li ha visti. Un test ben progettato legge il divario tra i gruppi come una stima dell'effetto incrementale del canale per quel pubblico, periodo e configurazione, riportata con la sua incertezza; i risultati che rimangono nel gruppo di controllo sono quelli che si sono verificati senza gli annunci.

Perché i numeri riportati dalla piattaforma possono differire dai risultati incrementali#

Le piattaforme pubblicitarie attribuiscono le conversioni agli annunci usando le proprie regole. Se qualcuno era già intenzionato ad acquistare tramite ricerca organica o un click di ricerca brandizzata, e nel frattempo ha visto un annuncio di retargeting, il normale conversion tracking può comunque attribuire quel credito all'annuncio all'interno della sua attribution window. Un credito più lieve, dove una piattaforma conta una conversione dopo che qualcuno ha semplicemente visto un annuncio, amplia il divario; questa meccanica è chiamata view-through attribution. Le conversioni che una piattaforma riporta non sono quindi la stessa cosa delle conversioni causate dai suoi annunci. Il test di incrementalità pone una domanda diversa: se questo canale non avesse fatto pubblicità, la conversione sarebbe comunque avvenuta?

È una domanda diversa da quella a cui risponde un pixel di tracciamento da solo, quindi il test di incrementalità viene usato accanto ai dashboard delle piattaforme, non al loro posto.

Come i team lo implementano nella pratica#

Si utilizzano diversi design. Un test a livello geografico assegna le regioni a una condizione di test o di controllo, ad esempio mostrando gli annunci di un canale in alcune regioni e trattenendoli in altre, e confronta risultati come vendite o conversioni tra le regioni; gli esperimenti geografici di Google assegnano casualmente regioni non sovrapposte, mentre GeoLift di Meta costruisce un controllo sintetico a partire dalle regioni non trattate. Un test a livello utente utilizza lo strumento di lift di conversione di una piattaforma pubblicitaria: Conversion Lift di Meta assegna casualmente le persone a un gruppo di test che vede gli annunci e a un gruppo di controllo che non li vede, e Google Ads Conversion Lift offre studi basati sugli utenti e sulla geografia, anche se Google afferma che non è disponibile per tutti i conti.

Il modo in cui viene stimato l'effetto dipende dal design. In un test randomizzato a livello utente, la stima è la differenza nei risultati tra il gruppo di test e il gruppo di controllo, che può essere riportata come conversioni extra o come percentuale sul gruppo di controllo. Come esempio ipotetico, se 10,000 utenti di test producono 300 conversioni e 10,000 utenti di controllo ne producono 250, il lift stimato è di 50 conversioni, ovvero il 20% sul gruppo di controllo, anche se la piattaforma ha attribuito ai suoi annunci tutte e 300 le conversioni. I test geografici di solito non si basano su quella semplice sottrazione: confrontano le regioni trattate con ciò che un modello, come un controllo sintetico costruito dalle regioni non trattate, dice che avrebbero prodotto senza gli annunci. Un canale con un forte ROAS auto‑segnalato dalla piattaforma può mostrare un effetto incrementale molto più piccolo in un test; quanto sia ampio il divario dipende dal canale, dal pubblico e dalla finestra di misurazione.

A cosa serve#

Gli acquirenti di media usano i test di incrementalità per orientare l'allocazione del budget tra le reti, non solo per auditare un singolo canale in isolamento. Un risultato descrive il pubblico, il periodo e il livello di spesa che sono stati testati.

Gli archivi pubblicitari pubblici non possono misurare l'incrementalità. Un annuncio osservato per molto tempo non dimostra che abbia causato conversioni aggiuntive, perché ad longevity registra per quanto tempo un annuncio è stato visto, non la spesa o i risultati. Ciò che gli archivi possono offrire sono ipotesi: le pagine di ad intelligence di OpenAdLibrary mostrano quali creatività e reti un inserzionista è stato osservato utilizzare, e per quanto tempo, il che può aiutarti a decidere cosa testare con il tuo gruppo di controllo prima di impegnare la spesa pubblicitaria di test (ad spend) in un holdout.

Errori comuni#

Il gruppo di controllo deve essere sufficientemente grande, e assegnato in modo casuale o abbinato con sufficiente accuratezza, per rilevare un segnale reale e non solo rumore. Un test breve su un canale a basso volume può non avere abbastanza conversioni per rilevare un effetto, e la documentazione di GeoLift di Meta avverte che eseguire un test geografico senza una precedente analisi di potenza comporta un'alta probabilità di non rilevare il lift anche quando esiste. Un picco stagionale o una promozione su tutto il sito non invalidano di per sé un test randomizzato, perché entrambi i gruppi la vivono, ma il lift misurato descrive allora quel periodo e potrebbe non valere nelle settimane normali. Un evento che raggiunge un solo gruppo, come una promozione regionale in un test geografico, può distorcere il risultato, quindi mantieni costante il resto del marketing tra le regioni di test e di controllo. Esegui il test in un periodo rappresentativo che copra almeno un ciclo di acquisto, dimensiona il gruppo di controllo con un calcolo di potenza e non interrompere prematuramente solo perché il valore intermedio sembra buono o cattivo.