Kuinka kauan mainos-A/B-testiä tulisi ajaa: otoskoko-laskenta käytännössä
A/B-testin kesto on aritmetiikkaa, ei kansantarua: tarvittava otos jaettuna odotetulla päivittäisellä havaintomäärällä. Otoskokolaskenta käyttökelpoisessa muodossa, plus konversioviive, lopetussäännöt ja se, miksi mikään kalenteripohja tai -katto ei sovi jokaiseen testiin.

Suunnittele kesto koeyksikön, perustason, havaitsemisen arvoisen vaikutuksen, virheensietokyvyn, allokoinnin ja odotettujen päivittäisten havaintojen perusteella. Varaa lisäksi aikaa konversioviiveelle ja olennaisille sykleille. Ei ole olemassa yleistä konversiomäärä- tai kalenterikynnystä, joka tekisi jokaisesta mainostestistä ratkaisevan.
Kesto on tulos, ei kalenterivalinta#
Odotetut havainnot per muunnos vaikuttavat siihen, kuinka kauan suunnitellun otoksen saavuttaminen kestää. Pelkät konversiomäärät eivät määritä tarvittavaa otosta: määrittele perustaso, vaikutuskoko, asetelma ja epävarmuusoletukset.
- Perustaso testaamasi metrin – CTR luoville, konversioprosentti maalaussivuille ja tarjouksille.
- Pienin havaitsemisen arvoinen ero. 10 %:n parannuksen havaitseminen maksaa paljon enemmän liikennettä kuin 50 %:n parannuksen havaitseminen, ja useimmat pienet parannukset eivät ole sen kulutuksen arvoisia, joka niiden näkemiseen tarvitaan.
- Päivittäinen volyymi per muunnos – määräytyy budjettisi ja tarjouksesi perusteella.
Arvioi tarvittavat havainnot valitulla asetelmalla ja jaa ne odotetuilla havainnoilla per muunnos per päivä. Tarkista, pysyykö tuloksena syntyvä ajanjakso olennaisena; neljän viikon kesto ei ole automaattinen pätemättömyyskynnys.
Otoskokolaskenta ilman tilastotieteen tutkintoa#
Eräs karkea suunnitteluapproksimaatio kahdelle riippumattomalle osuudelle käyttää yhtä suurta allokointia, kiinteää aikahorisonttia, kaksisuuntaista 5 %:n merkitsevyystasoa ja 80 %:n voimaa:
n per muunnos ≈ 16 × p × (1 − p) ÷ d²
Tässä p on oletettu perustason tapahtumaosuus ja d absoluuttinen osuusero. Tuloksena on havaintojen määrä per muunnos – esimerkiksi näyttökerrat tai kelpoiset käynnit – ei konversioita. Approksimaatio on tarkistettava harvinaisten lopputulosten, epätasaisen allokoinnin, toistuvien käyttäjien, klusteroinnin ja muiden asetelmasta poikkeavien piirteiden varalta.
Hipoteettiset laskelmat: p=0.005 ja d=0.001 tuottavat noin 79,600 näyttökertaa per muunnos. p=0.02 ja d=0.005 tuottavat noin 12,544 kelpoista käyntiä per muunnos. Jos jokainen tällainen käynti maksaa US$0.40, kahden haaran mediakulut ovat noin US$10,035 ennen muita kuluja. Nämä ovat suunnitteluskenaarioita, eivät toimialan vertailulukuja tai lupauksia merkitsevyydestä.
| Mitä testaat | Perustaso | Havaittava parannus | Otos per muunnos |
|---|---|---|---|
| CTR (luova) | 0,5 % | 20 % suhteellinen | ~80 000 näyttökertaa |
| CTR (luova) | 0,5 % | 50 % suhteellinen | ~13 000 näyttökertaa |
| CVR (maalaussivu) | 2 % | 25 % suhteellinen | ~12 500 klikkausta |
| CVR (maalaussivu) | 2 % | 50 % suhteellinen | ~3 100 klikkausta |
| CVR (tarjoussivu) | 5 % | 25 % suhteellinen | ~4 900 klikkausta |
Tässä approksimaatiossa d:n puolittaminen nelinkertaistaa suunnitellun otoksen. CTR ja konversio vastaavat eri kysymyksiin: CTR:n parannus ei välttämättä paranna katetuottoa tai hankintakustannusta. Valitse mittarit ja kaiteet päätöksen ympärille sen sijaan, että olettaisit näyttökertatasolla testaamisen olevan aina halvempaa tai riittävää.
Huomioi olennaiset syklit ja konversioviive#
Valitse ikkuna, joka edustaa olennaista liikennettä ja antaa viivästyneiden tulosten kypsyä. Viikkorytmit voivat olla merkityksellisiä, mutta seitsemän päivää ei ole yleinen minimi eikä todiste siitä, että asetelma on edustava.
Katto: pitkät testit mätänevät sisältä#
Pidemmät ikkunat voivat tuoda mukanaan muuttuvia olosuhteita, mutta testi ei automaattisesti lakkaa olemasta kontrolloitu kolmen tai neljän viikon jälkeen. Arvioi satunnaistaminen, samanaikainen altistus, ajautuminen, viivästyneet tulokset ja käytännön relevanssi; tarkista asetelma tarvittaessa.
Älä kurkkaa – tai ainakaan älä toimi kurkkauksiin perustuen#
Kiinteän aikahorisontin testin toistuva tarkistaminen ja pysäyttäminen ensimmäiseen suotuisaan merkitsevyystulokseen voi muuttaa sen virheprosenttia. Määrittele asetelma ja analyysi etukäteen tai käytä asianmukaista sekventiaalista menetelmää. Operatiiviset keskeytysperusteet ovat eri asia kuin tilastollinen onnistumisjulistus.
Lopetussäännöt, kun et voi maksaa merkitsevyyttä#
Useimmat natiivi- ja affiliate-ostajat eivät voi rahoittaa 12 500 klikkausta per muunnos, ja sen esittäminen toisin tuottaa vääriä tiukkuuksia. Rehellinen vaihtoehto on porrastettu seulonta – karkeampi kuin merkitsevyystestaus, ja standardikäytäntö ostajien keskuudessa, jotka testaavat kymmeniä luovia kuukaudessa:
Taloudellinen keskeytyssääntö voi rajoittaa altistusta, mutta se ei osoita tilastollista merkitsevyyttä. Jos seulot muunnoksia ennen vahvistavaa testiä, ota huomioon valikoituminen ja moninkertaiset vertailut ja käytä lopullisessa päätöksessä tuoretta, asianmukaisesti suunniteltua näyttöä. 2–3× CPA -sääntö tai muutama tuhat näyttökertaa ei ole yleispätevä validointi.
Käytä kilpailijoiden havaintoja hypoteesien muodostamiseen#
Kilpailijoiden tallenteet voivat ehdottaa luovia hypoteeseja. 30 päivän havaintojakso ei osoita, että kilpailija olisi läpäissyt kannattavuustestin, eikä tutun kulman valitseminen vähennä valitsemaasi tilastolliseen asetelmaan tarvittavaa otosta.
Laskettu esimerkki, alusta loppuun#
Oletetaan, että ajat $60:n palkkiolla toimivaa lead-gen-tarjousta yhdellä kampanjalla, joka tekee noin 1 500 klikkausta päivässä testisoluissasi.
Hypoteettisessa yhtä suuren allokoinnin testissä, jossa p=0.03 ja d=0.009, approksimaatio antaa noin 5,748 kelpoista käyntiä per haara. Kun kelpoisia käyntejä kertyy yhteensä 1,500 päivässä, molempien haarojen kerääminen kestää noin 7.7 päivää ennen viiveen, syklien tai muiden asetelmavaatimusten huomioon ottamista. Aiempi seulontavaihe ei takaa puolustettavaa voittajaa 10–12 päivän kuluttua.
Suunniteltu kesto yhdistää otosvaatimukset odotettuun kelpoiseen liikenteeseen ja tulosten ajoittumiseen. Se ei ole tae siitä, että koe tuottaa tilastollisesti tai kaupallisesti ratkaisevan voittajan.







