Holdout Test (Advertising): Definiție și Utilizări

Un holdout test este un design experimental care exclude un anunț sau o tratare de marketing de la o parte din publicul tău, grupul de holdout, în timp ce restul publicului continuă să îl primească, apoi compară rezultatele dintre cele două grupuri pentru a măsura efectul real al tratării. Este termenul general pentru familia mai largă de experimente de măsurare cauzală utilizate în publicitate, acoperind totul de la o pauză regională completă la un test îngust de limitare a frecvenței.

Mecanica de bază#

Împarte publicul tău în două grupuri care sunt cât mai asemănătoare în ceea ce privește trăsăturile care prezic metrica ta de rezultat: comportamentul de cumpărare anterior, regiunea, tipul de dispozitiv, orice contează pentru afacerea ta. Un grup, holdout-ul, nu vede anunțuri (sau un mesaj de serviciu public în locul lor); celălalt grup vede campania în mod normal. După o perioadă stabilită, compară rata de conversie, venitul sau orice metrică testezi între cele două grupuri. Diferența, ajustată pentru orice decalaj de bază între grupuri, este efectul incremental al tratării.

De ce platformele îl integrează#

Majoritatea platformelor publicitare majore cu un demand-side platform self-serve oferă acum o formă de testare integrată de măsurare a creșterii conversiilor sau de holdout, deoarece advertiserii au continuat să pună aceeași întrebare la care propriul lor dashboard de conversion tracking nu putea răspunde sincer: s-ar fi întâmplat aceste conversii oricum? Un dashboard care arată un număr puternic de ROAS raportează conversii asociate, nu neapărat cauzate, și doar un holdout autentic le separă.

Unde sunt utilizate holdout test-urile în funnel#

Un holdout de canal complet oprește o întreagă rețea sau canal pentru un subset de utilizatori sau regiuni, designul din spatele unui test de creștere regională. Un holdout la nivel de campanie oprește o campanie specifică în timp ce altele continuă, izolând efectul acelei campanii de linia de bază a canalului. Un holdout de frecvență limitează de câte ori un utilizator vede un anunț, apoi compară rezultatele cu un grup nelimitat, util pentru măsurarea creative fatigue și a randamentelor descrescătoare.

Constrângeri practice#

A executa un holdout test înseamnă a nu afișa în mod deliberat anunțuri unor clienți reali, adresabili, pe durata testului, ceea ce are un cost real pe termen scurt. Acesta este compromisul pe care îl acceptă fiecare echipă orientată către incrementalitate: renunță la o parte din reach și venit pe termen scurt în schimbul unui răspuns de încredere privind dacă bugetul funcționează cu adevărat. Volumul eșantionului contează și el. Un holdout are nevoie de suficient volum în ambele grupuri pentru a detecta o diferență statistic semnificativă; testarea unui canal cu trafic redus sau a unei campanii scurte produce adesea doar zgomot îmbrăcat în rezultat.

Cum să citești corect rezultatul#

Un rezultat nul, fără diferență semnificativă între grupurile expuse și cele de holdout, este o constatare reală, nu un test eșuat. Înseamnă că canalul, cel puțin pentru acel public și acea perioadă, nu adăuga valoare incrementală dincolo de ceea ce s-ar fi întâmplat oricum. Înainte de a scala un canal bazat pe cifre raportate puternice, verifică dacă și competitorii din verticala ta rulează ad spend intens acolo, deoarece un canal aglomerat cu creative care rulează de mult timp, vezi ad longevity, este un proxy rezonabil pentru unul în care testele de holdout tind să confirme creșteri reale. Platforma de ad intelligence OpenAdLibrary îți permite să verifici această activitate pe rețea și verticală înainte de a angaja bugetul de test.