OpenAdLibraryOpenAdLibrary
Mainosluovuus ja myyntifunnelit

Kuinka kauan mainos-A/B-testiä tulisi ajaa: otoskoko-laskenta käytännössä

A/B-testin kesto on aritmetiikkaa, ei kansantarua: tarvittava otos jaettuna odotetulla päivittäisellä havaintomäärällä. Otoskokolaskenta käyttökelpoisessa muodossa, plus konversioviive, lopetussäännöt ja se, miksi mikään kalenteripohja tai -katto ei sovi jokaiseen testiin.

Toimituksellinen kuvitus: Kuinka kauan mainos-A/B-testiä tulisi ajaa: otoskoko-laskenta käytännössä

Suunnittele kesto koeyksikön, perustason, havaitsemisen arvoisen vaikutuksen, virheensietokyvyn, allokoinnin ja odotettujen päivittäisten havaintojen perusteella. Varaa lisäksi aikaa konversioviiveelle ja olennaisille sykleille. Ei ole olemassa yleistä konversiomäärä- tai kalenterikynnystä, joka tekisi jokaisesta mainostestistä ratkaisevan.

Kesto on tulos, ei kalenterivalinta#

Odotetut havainnot per muunnos vaikuttavat siihen, kuinka kauan suunnitellun otoksen saavuttaminen kestää. Pelkät konversiomäärät eivät määritä tarvittavaa otosta: määrittele perustaso, vaikutuskoko, asetelma ja epävarmuusoletukset.

  • Perustaso testaamasi metrin – CTR luoville, konversioprosentti maalaussivuille ja tarjouksille.
  • Pienin havaitsemisen arvoinen ero. 10 %:n parannuksen havaitseminen maksaa paljon enemmän liikennettä kuin 50 %:n parannuksen havaitseminen, ja useimmat pienet parannukset eivät ole sen kulutuksen arvoisia, joka niiden näkemiseen tarvitaan.
  • Päivittäinen volyymi per muunnos – määräytyy budjettisi ja tarjouksesi perusteella.

Arvioi tarvittavat havainnot valitulla asetelmalla ja jaa ne odotetuilla havainnoilla per muunnos per päivä. Tarkista, pysyykö tuloksena syntyvä ajanjakso olennaisena; neljän viikon kesto ei ole automaattinen pätemättömyyskynnys.

Otoskokolaskenta ilman tilastotieteen tutkintoa#

Eräs karkea suunnitteluapproksimaatio kahdelle riippumattomalle osuudelle käyttää yhtä suurta allokointia, kiinteää aikahorisonttia, kaksisuuntaista 5 %:n merkitsevyystasoa ja 80 %:n voimaa:

n per muunnos ≈ 16 × p × (1 − p) ÷ d²

Tässä p on oletettu perustason tapahtumaosuus ja d absoluuttinen osuusero. Tuloksena on havaintojen määrä per muunnos – esimerkiksi näyttökerrat tai kelpoiset käynnit – ei konversioita. Approksimaatio on tarkistettava harvinaisten lopputulosten, epätasaisen allokoinnin, toistuvien käyttäjien, klusteroinnin ja muiden asetelmasta poikkeavien piirteiden varalta.

Hipoteettiset laskelmat: p=0.005 ja d=0.001 tuottavat noin 79,600 näyttökertaa per muunnos. p=0.02 ja d=0.005 tuottavat noin 12,544 kelpoista käyntiä per muunnos. Jos jokainen tällainen käynti maksaa US$0.40, kahden haaran mediakulut ovat noin US$10,035 ennen muita kuluja. Nämä ovat suunnitteluskenaarioita, eivät toimialan vertailulukuja tai lupauksia merkitsevyydestä.

Mitä testaat Perustaso Havaittava parannus Otos per muunnos
CTR (luova) 0,5 % 20 % suhteellinen ~80 000 näyttökertaa
CTR (luova) 0,5 % 50 % suhteellinen ~13 000 näyttökertaa
CVR (maalaussivu) 2 % 25 % suhteellinen ~12 500 klikkausta
CVR (maalaussivu) 2 % 50 % suhteellinen ~3 100 klikkausta
CVR (tarjoussivu) 5 % 25 % suhteellinen ~4 900 klikkausta

Tässä approksimaatiossa d:n puolittaminen nelinkertaistaa suunnitellun otoksen. CTR ja konversio vastaavat eri kysymyksiin: CTR:n parannus ei välttämättä paranna katetuottoa tai hankintakustannusta. Valitse mittarit ja kaiteet päätöksen ympärille sen sijaan, että olettaisit näyttökertatasolla testaamisen olevan aina halvempaa tai riittävää.

Huomioi olennaiset syklit ja konversioviive#

Valitse ikkuna, joka edustaa olennaista liikennettä ja antaa viivästyneiden tulosten kypsyä. Viikkorytmit voivat olla merkityksellisiä, mutta seitsemän päivää ei ole yleinen minimi eikä todiste siitä, että asetelma on edustava.

Katto: pitkät testit mätänevät sisältä#

Pidemmät ikkunat voivat tuoda mukanaan muuttuvia olosuhteita, mutta testi ei automaattisesti lakkaa olemasta kontrolloitu kolmen tai neljän viikon jälkeen. Arvioi satunnaistaminen, samanaikainen altistus, ajautuminen, viivästyneet tulokset ja käytännön relevanssi; tarkista asetelma tarvittaessa.

Älä kurkkaa – tai ainakaan älä toimi kurkkauksiin perustuen#

Kiinteän aikahorisontin testin toistuva tarkistaminen ja pysäyttäminen ensimmäiseen suotuisaan merkitsevyystulokseen voi muuttaa sen virheprosenttia. Määrittele asetelma ja analyysi etukäteen tai käytä asianmukaista sekventiaalista menetelmää. Operatiiviset keskeytysperusteet ovat eri asia kuin tilastollinen onnistumisjulistus.

Lopetussäännöt, kun et voi maksaa merkitsevyyttä#

Useimmat natiivi- ja affiliate-ostajat eivät voi rahoittaa 12 500 klikkausta per muunnos, ja sen esittäminen toisin tuottaa vääriä tiukkuuksia. Rehellinen vaihtoehto on porrastettu seulonta – karkeampi kuin merkitsevyystestaus, ja standardikäytäntö ostajien keskuudessa, jotka testaavat kymmeniä luovia kuukaudessa:

Taloudellinen keskeytyssääntö voi rajoittaa altistusta, mutta se ei osoita tilastollista merkitsevyyttä. Jos seulot muunnoksia ennen vahvistavaa testiä, ota huomioon valikoituminen ja moninkertaiset vertailut ja käytä lopullisessa päätöksessä tuoretta, asianmukaisesti suunniteltua näyttöä. 2–3× CPA -sääntö tai muutama tuhat näyttökertaa ei ole yleispätevä validointi.

Käytä kilpailijoiden havaintoja hypoteesien muodostamiseen#

Kilpailijoiden tallenteet voivat ehdottaa luovia hypoteeseja. 30 päivän havaintojakso ei osoita, että kilpailija olisi läpäissyt kannattavuustestin, eikä tutun kulman valitseminen vähennä valitsemaasi tilastolliseen asetelmaan tarvittavaa otosta.

Laskettu esimerkki, alusta loppuun#

Oletetaan, että ajat $60:n palkkiolla toimivaa lead-gen-tarjousta yhdellä kampanjalla, joka tekee noin 1 500 klikkausta päivässä testisoluissasi.

Hypoteettisessa yhtä suuren allokoinnin testissä, jossa p=0.03 ja d=0.009, approksimaatio antaa noin 5,748 kelpoista käyntiä per haara. Kun kelpoisia käyntejä kertyy yhteensä 1,500 päivässä, molempien haarojen kerääminen kestää noin 7.7 päivää ennen viiveen, syklien tai muiden asetelmavaatimusten huomioon ottamista. Aiempi seulontavaihe ei takaa puolustettavaa voittajaa 10–12 päivän kuluttua.

Suunniteltu kesto yhdistää otosvaatimukset odotettuun kelpoiseen liikenteeseen ja tulosten ajoittumiseen. Se ei ole tae siitä, että koe tuottaa tilastollisesti tai kaupallisesti ratkaisevan voittajan.

Usein kysytyt kysymykset

Kuinka monta konversiota tarvitsen per muunnos mainos-A/B-testissä?
Tarvittavat havainnot riippuvat perustasosta, absoluuttisesta vaikutuksesta, voimasta, virheensietokyvystä ja asetelmasta. Esitetty kaava on karkea likiarvo riippumattomille osuuksille, ei tarkka konversiomääräsääntö.
Onko 3 päivää tarpeeksi pitkä aika mainos-A/B-testin ajamiseen?
Se riippuu asetelmasta, kelpoisesta liikenteestä, olennaisista sykleistä ja tulosten viiveestä. Kolme päivää voi olla liian lyhyt tiettyyn kysymykseen, mutta seitsemän päivää ei ole yleinen pätevyyskynnys.
Pitäisikö minun testata mainoksia CTR:n vai konversioprosentin perusteella?
Valitse mittari päätöksen perusteella ja sisällytä mukaan myös jatkovaiheen kaiteet. CTR ja konversioprosentti vastaavat eri kysymyksiin; tämä artikkeli ei osoita yleistä 10–100× kustannuseroa.
Mitä tapahtuu, jos lopetan A/B-testin heti, kun se saavuttaa merkitsevyyden?
Lisäät väärän positiivisten tulosten määrää dramaattisesti. Päivittäinen tarkistaminen ja pysähtyminen ensimmäiseen merkitsevään lukemaan tarkoittaa, että monet 'voittajat' ovat kohinaa, joka olisi palautunut lisädatalla – klassinen kurkkimisongelma. Sitoudu etukäteen otoskokoon, käytä päivittäisiä tarkistuksia vain stop-loss-ehtoihin, kuten rikkoutuneeseen seurantaan tai karkaavaan kulutukseen, ja arvioi kerran, kun otos on valmis.
Miksi voittava mainosmuunnos lopetti voittamisen testin jälkeen?
Mahdollisia selityksiä ovat epävarmuus, valintaharha, muuttuva liikenne, viivästyneet tulokset ja todelliset muutokset suorituskyvyssä. Artikkeli ei ole osoittanut tavanomaista syytä; tarkastele asetelmaa ja myöhempää dataa.
OpenAdLibrary-tiimi
KirjoittanutOpenAdLibrary-tiimi
Mainosälykkyys ja native-mainonnan tutkimus

Rakennamme OpenAdLibraryä, avointa mainosten läpinäkyvyysalustaa. Joka päivä järjestelmämme tallentavat live-native-mainoksia Taboolasta, Outbrainista, MGID:stä, Revcontentista, Teadsista, Yahoosta ja MSN:stä, tunnistavat jokaisen mainoksen todellisen mainostajan ja seuraavat klikkauksen sen kohdesivulle. Nämä oppaat tiivistävät havaintojamme tästä datasta, jotta voit tutkia markkinoita nopeammin.