Tilastollinen merkitsevyys (mainosten testaus)

Tilastollinen merkitsevyys mainosten testauksessa tarkoittaa, että kahden variantin välinen havaittu ero CTR:ssä, konversioprosentissa tai missä tahansa muussa mittarissa ei todennäköisesti johdu satunnaisvaihtelusta vaan todellisesta suorituskykyerosta. Se vastaa kysymykseen, jonka jokainen mediaostaja lopulta esittää: onko variantti B todella parempi vai onko sillä vain ollut tuuria pienen otoksen kanssa?

Miksi pienet otokset valehtelevat#

Vain muutamalla napsautuksella tai konversiolla satunnaisvaihtelu voi helposti saada keskinkertaisen mainoksen näyttämään voittajalta lyhyen ajanjakson ajan ja aidosti vahvan mainoksen näyttämään häviäjältä. Otsikko, jonka todellinen konversioprosentti on 3 %, voi näyttää 0 % tai 10 % vain kahdenkymmenen kävijän aikana puhtaasti sattumanvaraisesti. Merkitsevyystestaus punnitsee otoskokoa, konversioprosenttia ja havaitun eron suuruutta arvioidakseen, kuinka todennäköisesti tulos säilyy, kun liikennettä kertyy lisää.

Miten ostajat soveltavat sitä ilman tilastotieteen tutkintoa#

Useimmat eivät laske matematiikkaa käsin. He käyttävät ilmaista merkitsevyyslaskuria, syöttävät kävijät ja konversiot kullekin variantille ja tarkistavat, ylittääkö luottamustaso kynnyksen, yleensä 90 % tai 95 %, ennen kuin julistavat voittajan. Käytännön sääntö kaiken tämän taustalla: enemmän konversioita, ei vain enemmän napsautuksia, on se, mikä todella rakentaa luottamusta. Testi, jossa on tuhansia napsautuksia mutta vain muutama konversio varianttia kohden, ei ole luotettava, riippumatta siitä, kuinka kauan se on ollut käynnissä.

Käytännön nyrkkisääntö#

Ei ole olemassa yleistä vähimmäisotokokoa, se riippuu peruskonversioprosentista ja siitä, kuinka suuren eron yrität havaita. Monet ostajat pitävät kaikkea alle muutaman kymmenen konversion varianttia kohden liian ohuena luotettavaksi ja odottavat merkittävästi enemmän ennen kuin kohdentavat merkittävää budjettia uudelleen. Matalamman volyymin verkostoissa, kuten Revcontent tai MediaGo, verrattuna korkean volyymin verkostoon, kuten Taboola, luotettavan otoksen saavuttaminen voi kestää huomattavasti kauemmin, mikä kannattaa ottaa huomioon siinä, kuinka aggressiivisesti leikkaat alisuoriutuvia variantteja.

Miksi sillä on merkitystä omien testiesi ulkopuolella#

Sama logiikka pätee, kun arvioit kilpailijan mainosta ulkopuolelta. Luova sisältö, jota on pyöritetty vain kaksi päivää, kertoo sinulle paljon vähemmän kuin sellainen, joka on vahvistettu pyörivän viikkoja, minkä vuoksi mainoksen pitkäikäisyys toimii karkeana ulkoisena mittarina: mainos, joka selviää niin kauan, on todennäköisesti jo ylittänyt oman sisäisen merkitsevyyskynnyksensä, vaikka et näe mainostajan todellisia lukuja. OpenAdLibrary kirjaa ylös, kuinka kauan kukin kerätty luova sisältö on havaittu eri verkostoissa, antaen sinulle tuon ulkoisen signaalin ilman pääsyä kenenkään kojelautaan. Tutustu siihen mainostiedustelualustan kautta.

Tästä syystä ostajien tulisi myös olla skeptisiä näyttäviä tapaustutkimuksia kohtaan, jotka väittävät pienen testin tuottaneen valtavan nousun. Suuret prosentuaaliset vaihtelut pienillä otoksilla ovat juuri sitä, mitä satunnainen kohina tuottaa, ja aidon tuloksen tulisi säilyä volyymin kasvaessa, ei vain ilmestyä kerran ja kadota.