Holdout Test (Hirdetés): Definíció és Felhasználás

A holdout teszt egy kísérleti tervezés, amely visszatart egy hirdetést vagy marketing kezelést a célközönséged egy részétől (a holdout csoporttól), miközben a célközönség többi része továbbra is megkapja, majd összehasonlítja a két csoport eredményeit, hogy megmérje a kezelés valódi hatását. Ez a gyűjtőfogalma a hirdetésben használt ok-okozati mérési kísérletek szélesebb családjának, amely mindent magába foglal, a teljes regionális szüneteltetéstől a szűk gyakorisági limit (frequency-cap) tesztig.

Az alapvető mechanizmus#

Oszd fel a célközönséged két, a lehető leginkább hasonló csoportra azokon a jellemzők alapján, amelyek előrejelzik a célmetrikádat: múltbeli vásárlási magatartás, régió, eszköztípus, bármi, ami számít az üzleted számára. Az egyik csoport, a holdout, nem lát hirdetéseket (vagy egy közszolgálati üzenetet a helyükben); a másik csoport a kampányt a szokásos módon látja. Egy meghatározott időszak után hasonlítsd össze a konverziós rátát, bevételt vagy bármilyen tesztelt metrikát a két csoport között. A különbség, korrigálva a csoportok közötti bármilyen alapvonal-különbséggel, a kezelés inkrementális hatása.

Miért építik be ezt a platformok#

A legtöbb nagy hirdetői platform önkiszolgáló demand-side platform funkcióval már kínál valamilyen beépített konverziós emelkedés (conversion-lift) vagy holdout tesztelést, mert a hirdetők ugyanazt a kérdést tették fel, amelyre a saját konverziókövetési irányítópultjuk nem tudott őszintén válaszolni: ezek a konverziók egyébként is megtörténtek volna? Egy erős ROAS számot mutató irányítópult társított konverziókat jelent, nem feltétlenül okozottakat, és csak egy valódi holdout teszt választja szét a kettőt.

Hol használják a holdout teszteket a tölcsér mentén#

Egy teljes csatornás holdout szüneteltet egy teljes hálózatot vagy csatornát a felhasználók vagy régiók egy részhalmaza számára – ez a regionális emelkedés (lift) teszt mögötti tervezés. Egy kampányszintű holdout szüneteltet egy konkrét kampányt, miközben a többi folytatódik, így elkülöníti annak a kampánynak a hatását a csatorna alapvonalától. Egy gyakorisági (frequency) holdout korlátozza, hogy egy felhasználó hányszor lát egy hirdetést, majd összehasonlítja az eredményeket egy korlátozás nélküli csoporttal, ami hasznos a kreatív kimerülés (creative fatigue) és a csökkenő hozamok méréséhez.

Gyakorlati korlátok#

Holdout teszt futtatása azt jelenti, hogy szándékosan nem mutatsz hirdetéseket néhány valódi, címezhető vásárlónak a teszt időtartama alatt, aminek valós, rövid távú költsége van. Ez az a kompromisszum, amelyet minden inkrementalitásra törekvő csapat elfogad: feláldoz némi közeli elérést és bevételt egy megbízható válaszért arra, hogy a költés valóban működik-e. A minta mérete is számít. Egy holdout tesztnek elég mennyiségre van szüksége mindkét csoportban ahhoz, hogy statisztikailag jelentős különbséget tudjon kimutatni; egy alacsony forgalmú csatorna vagy egy rövid kampány tesztelése gyakran csak zajt produkál, ami eredménynek van öltöztetve.

Az eredmény helyes értelmezése#

Egy null eredmény, vagyis nincs jelentős különbség a kitett és a holdout csoportok között, valódi megállapítás, nem pedig sikertelen teszt. Azt jelenti, hogy a csatorna, legalábbis ahhoz a célközönséghez és időszakhoz, nem adott hozzá inkrementális értéket azon túl, ami egyébként is történt volna. Mielőtt egy csatornát erős jelentett számok alapján felméreteznél, ellenőrizd, hogy a vertikális versenytársaid is folytatnak-e ott nagy hirdetési költést (ad spend), mivel egy hosszú ideje futó kreatívokkal zsúfolt csatorna (lásd hirdetés élettartam (ad longevity)) ésszerű indikátora annak, ahol a holdout tesztek inkább valódi emelkedést (lift) igazolnak. Az OpenAdLibrary hirdetési intelligencia (ad intelligence) platformja lehetővé teszi ennek a tevékenységnek a hálózat és vertikális szerinti ellenőrzését, mielőtt tesztköltségvetést köteleznél el.