Statisztikai szignifikancia (hirdetések tesztelése)

A statisztikai szignifikancia a hirdetések tesztelésében azt jelenti, hogy két változat közötti megfigyelt különbség a CTR, a konverziós ráta vagy bármely más metrika tekintetében valószínűleg nem véletlen ingadozás eredménye, hanem valós teljesítménybeli különbség. Választ ad arra a kérdésre, amit minden médiavásárló előbb-utóbb feltesz: a B változat valóban jobb, vagy csak szerencsés volt egy kis mintával?

Miért hazudnak a kis minták#

Csak néhány kattintással vagy konverzióval a véletlenszerű ingadozás könnyen egy közepes hirdetést rövid időre győztesnek, egy valóban erős hirdetést pedig vesztesnek mutathat. Egy olyan címsor, amely valójában 3%-os konverziós rátával rendelkezik, pusztán véletlenül mutathat 0%-ot vagy 10%-ot is mindössze húsz látogató alatt. A szignifikanciatesztelés méri a minta méretét, a konverziós rátát és a megfigyelt különbség nagyságát, hogy megbecsülje, mennyire valószínű, hogy az eredmény tartós lesz, ahogy több forgalom érkezik.

Hogyan alkalmazzák a vásárlók statisztikai diploma nélkül#

A legtöbben nem kézzel számolják ki a matematikát. Ingyenes szignifikanciakalkulátort használnak, beírják a látogatók és konverziók számát minden változatra, és ellenőrzik, hogy a megbízhatósági szint eléri-e a küszöbértéket (általában 90% vagy 95%), mielőtt győztest hirdetnének. A mindezek mögött álló gyakorlati szabály ez: több konverzió, nem csak több kattintás az, ami valóban bizalmat épít. Egy olyan teszt, amelynek több ezer kattintása, de csak néhány konverziója van változatonként, még mindig nem megbízható, függetlenül attól, hogy mennyi ideje fut.

Egy gyakorlati ökölszabály#

Nincs univerzális minimális mintaméret, ez a kiindulási konverziós rátától és attól függ, hogy mekkora különbséget próbálsz kimutatni. Sok vásárló mindent, ami változatonként néhány tucatnál kevesebb konverziót jelent, túl kevésnek tekint a megbízhatósághoz, és jelentősen többre vár, mielőtt komoly költségvetést újraosztana. Az alacsonyabb forgalmú hálózatokon, mint például a Revcontent vagy a MediaGo, a nagy forgalmú hálózatokhoz (például a Taboola) képest a megbízható minta elérése észrevehetően tovább tarthat, amit érdemes figyelembe venni, amikor eldöntöd, mennyire agresszíven vágod ki a gyengébben teljesítő változatokat.

Miért számít ez a saját teszteken túl is#

Ugyanez a logika érvényes, amikor egy versenytárs hirdetését kívülről ítélik meg. Egy olyan kreatív, amely csak két napja fut, sokkal kevesebbet mond el, mint egy olyan, amely hetek óta megerősítetten fut, ezért működik a hirdetések élettartama durva külső indikátorként: egy olyan hirdetés, amely ilyen sokáig fennmarad, valószínűleg már megfelelt a saját belső szignifikanciaküszöbének, annak ellenére, hogy nem láthatod a hirdető tényleges számadatait. Az OpenAdLibrary nyilvántartja, hogy minden begyűjtött kreatív mennyi ideig volt megfigyelhető a hálózatokon, ezt a külső jelet adva neked anélkül, hogy hozzáférnél bárki irányítópultjához. Fedezd fel a hirdetési intelligencia platformon keresztül.

Ez az oka annak is, hogy a vásárlóknak szkeptikusnak kell lenniük azokkal a látványos esettanulmányokkal szemben, amelyek hatalmas növekedést állítanak egy apró tesztből. A kis mintákon tapasztalt nagy százalékos ingadozások pontosan azok, amiket a véletlenszerű zaj produkál, és egy legitim eredménynek a mennyiség növekedésével is helyt kell állnia, nem csak egyszer megjelennie, majd eltűnnie.