Testarea incrementalității: Definiție și Cum Funcționează

Testarea incrementalității este un experiment controlat care estimează cât de mult din activitatea de conversie raportată pentru un canal publicitar a fost cauzată de fapt de publicitate, în loc să se bazeze pe conversiile pe care urmărirea din platformă le atribuie anunțurilor sale. Reții un grup de utilizatori sau zone geografice de la a vedea anunțurile unui canal specific, apoi compari rezultatul cu un grup care le-a văzut. Un test bine conceput interpretează diferența dintre grupuri ca o estimare a efectului incremental al canalului pentru acel public, acea perioadă și acea configurație, raportată împreună cu incertitudinea sa; rezultatele care rămân în grupul de control sunt cele care s-au produs fără anunțuri.

De ce cifrele raportate de platformă pot diferi de rezultatele incrementale#

Platformele publicitare atribuie conversiile anunțurilor după propriile reguli. Dacă cineva avea deja intenția să cumpere prin căutare organică sau un click pe o căutare cu brand, și s-a întâmplat să vadă și un anunț de retargeting pe parcurs, urmărirea standard a conversiilor poate totuși să acorde credit acelui anunț din cadrul ferestrei sale de atribuire. Creditul mai slab, în care o platformă contează o conversie după ce cineva doar a văzut un anunț, adaugă la diferență; acel mecanism se numește atribuire prin vizualizare. Prin urmare, conversiile pe care le raportează o platformă nu sunt același lucru cu conversiile pe care le-au cauzat anunțurile sale. Testarea incrementalității pune o altă întrebare: dacă acest canal nu ar fi făcut publicitate, conversia s-ar fi produs oricum?

Aceasta este o întrebare diferită de cea la care răspunde un pixel de urmărire singur, așa că testarea incrementalității este folosită alături de tablourile de bord ale platformelor, nu în locul lor.

Cum o implementează echipele în practică#

Se folosesc mai multe modele. Un test la nivel geografic atribuie regiunile unei condiții de test sau de control, de exemplu rulând anunțurile unui canal în anumite regiuni și reținându-le în altele, și compară rezultate precum vânzările sau conversiile între regiuni; experimentele geografice ale Google atribuie aleatoriu regiuni care nu se suprapun, în timp ce GeoLift de la Meta construiește un control sintetic din regiunile netratate. Un test la nivel de utilizator folosește instrumentele de măsurare a creșterii conversiilor ale unei platforme publicitare: Conversion Lift de la Meta atribuie aleatoriu persoanele unui grup de test care vede anunțurile și unui grup de control care nu le vede, iar Google Ads Conversion Lift oferă studii bazate pe utilizatori și studii bazate pe zone geografice, deși Google spune că nu este disponibil pentru toate conturile.

Modul în care este estimat efectul depinde de model. Într-un test randomizat la nivel de utilizator, estimarea este diferența de rezultate dintre grupul de test și grupul de control, care poate fi raportată ca conversii suplimentare sau ca procent față de grupul de control. Ca exemplu ipotetic, dacă 10,000 de utilizatori din grupul de test produc 300 de conversii și 10,000 de utilizatori din grupul de control produc 250, creșterea estimată este de 50 de conversii, sau 20% față de grupul de control, chiar dacă platforma a atribuit toate cele 300 de conversii anunțurilor sale. Testele geografice de obicei nu se bazează pe acea scădere simplă: ele compară regiunile tratate cu ceea ce un model, cum ar fi un control sintetic construit din regiuni netratate, spune că ar fi produs fără anunțuri. Un canal cu un ROAS puternic raportat de platformă poate arăta un efect incremental mult mai mic într-un test; cât de mare este diferența depinde de canal, public și fereastra de măsurare.

La ce este folosită#

Cumpărătorii de media folosesc testele de incrementalitate pentru a fundamenta alocarea bugetului între rețele, nu doar pentru a audita un canal izolat. Un rezultat descrie publicul, perioada și nivelul de cheltuială care au fost testate.

Arhivele publice de anunțuri nu pot măsura incrementalitatea. Un anunț care a fost observat mult timp nu arată că a cauzat conversii suplimentare, deoarece longevitatea anunțurilor înregistrează cât timp a fost văzut un anunț, nu cheltuiala sau rezultatele. Ce pot oferi arhivele sunt ipoteze: paginile de inteligență a anunțurilor ale OpenAdLibrary arată ce creativități și rețele a fost observat că folosește un advertiser și pentru cât timp, ceea ce te poate ajuta să decizi ce să testezi cu propriul grup de control înainte de a angaja bugetul publicitar pentru test.

Greșeli comune#

Grupul de control trebuie să fie suficient de mare și să fie atribuit aleatoriu sau potrivit cu suficientă atenție pentru a detecta un semnal real, nu doar zgomot. Un test scurt pe un canal cu volum scăzut poate să nu aibă suficiente conversii pentru a detecta un efect, iar documentația GeoLift de la Meta avertizează că rularea unui test geografic fără o analiză de putere prealabilă duce la o probabilitate mare de a nu găsi creșterea chiar și atunci când ea există. Un vârf sezonier sau o promoție la nivel de site nu invalidează prin ele însele un test randomizat, deoarece ambele grupuri le resimt, dar creșterea măsurată descrie atunci acea perioadă și s-ar putea să nu se mențină în săptămânile normale. Un eveniment care ajunge doar la un grup, cum ar fi o promoție regională într-un test geografic, poate influența rezultatul, așa că menține restul activităților de marketing constante între regiunile de test și cele de control. Rulează testul într-o perioadă reprezentativă care acoperă cel puțin un ciclu de cumpărare, dimensionează grupul de control cu un calcul de putere și nu te opri devreme doar pentru că numărul interimar arată bine sau rău.