Inkrementalitási tesztelés: Definíció és működése

Az inkrementalitási tesztelés egy kontrollált kísérlet, amely megbecsüli, hogy egy hirdetési csatorna esetében jelentett konverziós aktivitásból mennyit okozott valójában a hirdetés, ahelyett hogy a platform követése által a hirdetéseinek tulajdonított konverziókra hagyatkozna. Visszatartasz egy felhasználói vagy földrajzi csoportot attól, hogy egy adott csatorna hirdetéseit lássa, majd összehasonlítod az eredményt egy olyan csoporttal, amely látta azokat. Egy jól megtervezett teszt a csoportok közötti különbséget a csatorna inkrementális hatásának becsléseként értelmezi az adott közönségre, időszakra és beállításra vonatkozóan, a bizonytalanságával együtt jelentve; a hátralévő csoportban megmaradó eredmények azok, amelyek a hirdetések nélkül történtek meg.

Miért térhetnek el a platformok által jelentett számok az inkrementális eredményektől#

A hirdetési platformok a saját szabályaik szerint tulajdonítanak konverziókat a hirdetéseknek. Ha valaki egyébként is vásárolt volna organikus keresésen vagy márkakeresési kattintáson keresztül, és közben véletlenül látott egy remarketing hirdetést is, a szabványos konverziókövetés továbbra is oda tudja adni a kreditet annak a hirdetésnek az attribúciós ablakán belül. A lágyabb kreditelés, amikor egy platform konverziót számol fel azután, hogy valaki csak látta a hirdetést, tovább növeli a különbséget; ezt a mechanizmust view-through attribúciónak hívják. A platform által jelentett konverziók tehát nem ugyanazok, mint a hirdetései által okozott konverziók. Az inkrementalitási tesztelés más kérdést tesz fel: ha ez a csatorna nem hirdetett volna, akkor is megtörtént volna a konverzió?

Ez más kérdés, mint amire egy követő pixel önmagában válaszol, ezért az inkrementalitási tesztelést a platform-irányítópultok mellett használják, nem helyettük.

Hogyan valósítják meg a csapatok a gyakorlatban#

Több tervezést is használnak. Egy földrajzi szintű teszt régiókat rendel egy teszt- vagy hátralévő csoport feltételhez, például úgy, hogy egy csatorna hirdetéseit egyes régiókban futtatja, másokban visszatartja, majd összehasonlítja a régiók közötti eredményeket, például az eladásokat vagy a konverziókat; a Google földrajzi kísérletei véletlenszerűen osztanak ki nem átfedő régiókat, a Meta GeoLift eszköze pedig kezeletlen régiókból épít szintetikus kontrollt. Egy felhasználói szintű teszt egy hirdetési platform konverzió-növekedési eszközeit használja: a Meta Conversion Lift eszköze véletlenszerűen osztja be az embereket egy tesztcsoportba, amely látja a hirdetéseket, és egy kontrollcsoportba, amely nem, a Google Ads Conversion Lift pedig felhasználóalapú és földrajzi alapú vizsgálatokat kínál, bár a Google szerint ez nem érhető el minden fiókhoz.

Az, hogy a hatást hogyan becsülik meg, a tervezéstől függ. Egy véletlenszerű felhasználói szintű tesztben a becslés a tesztcsoport és a hátralévő csoport eredményei közötti különbség, amelyet többletkonverzióként vagy a hátralévő csoporthoz viszonyított százalékos arányként is meg lehet adni. Feltételezett példaként, ha 10 000 tesztfelhasználó 300 konverziót hoz, és 10 000 hátralévő csoportba tartozó felhasználó 250-et, akkor a becsült növekedés 50 konverzió, azaz 20% a hátralévő csoporthoz képest, még akkor is, ha a platform mind a 300 konverziót a hirdetéseinek tulajdonította. A földrajzi tesztek általában nem erre az egyszerű kivonásra támaszkodnak: a kezelt régiókat ahhoz hasonlítják, amit egy modell – például a kezeletlen régiókból épített szintetikus kontroll – szerint a hirdetések nélkül hoztak volna. Egy olyan csatorna, amely erős, platform által jelentett ROAS-t mutat, egy tesztben jóval kisebb inkrementális hatást mutathat; hogy mekkora a különbség, az a csatornától, a közönségtől és a mérési ablaktól függ.

Mire használják#

A médiavásárlók az inkrementalitási teszteket a hálózatok közötti költségvetés-elosztás megalapozására használják, nem csak egy csatorna önálló auditálására. Egy eredmény mindig az adott közönségre, időszakra és költési szintre vonatkozik, amelyet teszteltek.

A nyilvános hirdetési archívumok nem tudják mérni az inkrementalitást. Az, hogy egy hirdetést hosszú ideig megfigyeltek, nem bizonyítja, hogy többletkonverziókat okozott, mert a hirdetési élettartam azt rögzíti, hogy egy hirdetést mennyi ideig láttak, nem a költést vagy az eredményeket. Amit az archívumok kínálni tudnak, azok a hipotézisek: az OpenAdLibrary hirdetési intelligencia oldalai megmutatják, milyen kreatívokat és hálózatokat figyeltek meg egy hirdetőnél, és mennyi ideig, ami segíthet eldönteni, mit tesztelj a saját hátralévő csoportoddal, mielőtt teszt hirdetési költségvetést költenél.

Gyakori hibák#

A hátralévő csoportnak elég nagynak kell lennie, és elég véletlenszerűen kiosztottnak vagy elég gondosan párosítottnak ahhoz, hogy egy valós jelet észleljen, ne csak zajt. Egy rövid teszt egy alacsony forgalmú csatornán nem biztos, hogy elég konverzióval rendelkezik egy hatás kimutatásához, és a Meta GeoLift dokumentációja figyelmeztet arra, hogy egy földrajzi teszt előzetes teljesítményelemzés nélküli futtatása nagy eséllyel nem találja meg a növekedést, még akkor sem, ha az létezik. Egy szezonális csúcs vagy egy oldalszintű promóció önmagában nem teszi érvénytelenné a véletlenszerű tesztet, mert mindkét csoport átéli, de a mért növekedés akkor erre az időszakra vonatkozik, és lehet, hogy normál heteken nem áll fenn. Egy olyan esemény, amely csak az egyik csoportot éri el, például egy regionális promóció egy földrajzi tesztben, torzíthatja az eredményt, ezért tartsd állandóan a többi marketingtevékenységet a teszt- és a kontrollrégiókban. Futtasd a tesztet egy reprezentatív időszakban, amely legalább egy vásárlási ciklust lefed, méretezd a hátralévő csoportot teljesítményszámítással, és ne állj le korán csak azért, mert a köztes szám jónak vagy rossznak tűnik.