Kuinka kauan mainos-A/B-testiä tulisi ajaa: otoskoko-laskenta käytännössä

Aja mainos-A/B-testiä, kunnes jokainen muunnos on kerännyt tarpeeksi konversioita, jotta ero, josta välität, tulee näkyväksi – ei kiinteän päivämäärän mukaan. Käytännön sääntönä tämä tarkoittaa vähintään yhtä täyttä viikkoa viikonpäiväsyklejä varten, ja jossain välillä 50 ja muutama tuhat konversiota per muunnos riippuen siitä, kuinka pienen eron haluat havaita. Kesto on aritmetiikan tulos, ei kalenterimieltymys: tarvittavat päivät = tarvittava otos per muunnos ÷ päivittäinen volyymisi per muunnos. Tämä artikkeli antaa sinulle tuon aritmetiikan, sen ohittavat pohjat ja katot sekä halvemman testausjärjestyksen, jota käyttää, kun matematiikan mukaan et voi maksaa merkitsevyyttä.

Kesto on tulos, ei kalenterivalinta#

Useimmat neuvot antavat sinulle kiinteän vastauksen – seitsemän päivää, neljätoista päivää, kuukausi. Päivät ovat väärä yksikkö. Kampanja, joka tuottaa 40 konversiota päivässä, ratkaisee maalaussivutestin noin viikossa; sama testi kampanjalla, joka tuottaa 4 konversiota päivässä, kestää yli kaksi kuukautta, jolloin tulos on saastunut kaikella, mikä muuttui välillä. Kolme syötettä päättää todellisen kestosi:

• Perustaso testaamasi metrin – CTR luoville, konversioprosentti maalaussivuille ja tarjouksille.
• Pienin havaitsemisen arvoinen ero. 10 %:n parannuksen havaitseminen maksaa paljon enemmän liikennettä kuin 50 %:n parannuksen havaitseminen, ja useimmat pienet parannukset eivät ole sen kulutuksen arvoisia, joka niiden näkemiseen tarvitaan.
• Päivittäinen volyymi per muunnos – määräytyy budjettisi ja tarjouksesi perusteella.

Korjaa kaksi ensimmäistä, ja tarvittava otos putoaa kaavasta. Jaa kolmannella, ja sinulla on kestosi. Jos vastaus on pidempi kuin noin neljä viikkoa, oikea liike on yleensä muuttaa testiä, ei jauhaa sitä loppuun – lisää siitä alla.

Otoskokolaskenta ilman tilastotieteen tutkintoa#

Vakiopikakuvake kahden muunnoksen testille 95 %:n luottamustasolla ja 80 %:n voimalla:

n per muunnos ≈ 16 × p × (1 − p) ÷ d²

missä p on perustasosi desimaalilukuna ja d on havaittava absoluuttinen ero. Kaksi laskettua esimerkkiä:

• Luova testi CTR-tasolla. Perus-CTR 0,5 %, havaitsemalla 20 %:n suhteellinen parannus (0,1 pistettä absoluuttisesti): n ≈ 16 × 0,005 × 0,995 ÷ 0,001² ≈ 80 000 näyttökertaa per muunnos. Natiivipaikat toimittavat näyttökerrat nopeasti ja halvalla, joten tämä voi ratketa päivissä.
• Maalaussivutesti konversiotasolla. Peruskonversioprosentti 2 %, havaitsemalla 25 %:n suhteellinen parannus (0,5 pistettä absoluuttisesti): n ≈ 16 × 0,02 × 0,98 ÷ 0,005² ≈ 12 500 klikkausta per muunnos. 0,40 dollarin CPC:llä tämä on viisinumeroinen testi yhdelle sivuparille.

Kaksi oppituntia putoaa tuosta taulukosta. Ensinnäkin, pienet parannukset ovat brutaalin kalliita: havaittavan eron puolittaminen nelinkertaistaa otoksen. Toiseksi, testaaminen näyttökertatasolla maksaa pienen osan klikkitasolla testaamisesta. Tuon epäsymmetrian tulisi muovata koko testausohjelmasi: testaa luovia kulmia CTR-tasolla, testaa funneleita konversiotasolla, ja älä testaa nappien väriä kokoisia muutoksia ollenkaan – niiden havaitsemiseen tarvittava otos harvoin maksaa itsensä takaisin.

Pohja: yksi täysi viikko, riippumatta matematiikasta#

Vaikka volyymi toimittaa otoksesi kahdessa päivässä, aja vähintään seitsemän. Arkipäivien ja viikonloppujen yleisöt käyttäytyvät eri tavalla – eri ihmiset, eri laitteet, eri aikomus. Natiiviverkkojen julkaisijasekoitus pyörii viikon läpi uutissyklien ja sisällön aikataulujen siirtyessä, joten tiistain liikenne ei ole lauantain liikenne. Konversioviive lisää toisen vinouman: muunnoksen torstain klikkaukset voivat konvertoida lauantaina, joten varhainen katkaisu suosii systemaattisesti sitä muunnosta, joka sattui saamaan näyttökerrat ensimmäisenä. Viikon puolivälissä päättyvä testi on näytteillyt vinoja siivun todellisesta liikenteestäsi, ja "voittaja" saattaa olla vain arkipäiväasiantuntija.

Katto: pitkät testit mätänevät sisältä#

Yli kolmesta neljään viikkoon A/B-testi lakkaa olemasta kontrolloitu koe. Luova väsyminen heikentää molempia muunnoksia – harvoin samalla nopeudella, mikä kääntää hiljaa sijoitukset testin keskellä. Kilpailijat tulevat ja lähtevät huutokaupasta ja muuttavat liikenteen laatua. Kausiluonteisuus ajautuu koko vertailun alle. Jos kaava sanoo, että tarvitset kuuden viikon liikenteen, lue se tuomiona: etsimäsi ero on liian pieni havaittavaksi volyymillasi. Testaa sen sijaan suurempaa heiluntaa – eri koukku tai kulma, eri funnel-rakenne – missä havaittava ero on suuri ja otos on kohtuuhintainen.

Älä kurkkaa – tai ainakaan älä toimi kurkkauksiin perustuen#

Klassinen epäonnistumistapa: tarkista kojelauta päivittäin ja julista voitto ensimmäisenä päivänä, kun numerot näyttävät merkitseviltä. Toistuvat katselut kertyvään dataan lisäävät väärän positiivisten tulosten määrää dramaattisesti – päivittäisellä kurkkimisella "se saavutti merkitsevyyden jossain vaiheessa" -pysäytyssääntö laukeaa paljon useammin kuin mainostettu 5 %:n virheprosentti. Keskiarvoon palautuminen selittää sitten useimmat "voittajani lopetti voittamisen" valitukset: muunnos, joka hyppäsi eteen toisena päivänä, ratsasti kohinalla, ja se ajautuu takaisin. Kurinalaisuus on yksinkertainen: sitoudu etukäteen otoskoon, valvo päivittäin vain stop-loss-ehtoja varten – rikkoutunut seuranta, karkaava kulutus, katastrofaalisesti suoriutuva muunnos – ja arvioi voittaja kerran, lopussa.

Lopetussäännöt, kun et voi maksaa merkitsevyyttä#

Useimmat natiivi- ja affiliate-ostajat eivät voi rahoittaa 12 500 klikkausta per muunnos, ja sen esittäminen toisin tuottaa vääriä tiukkuuksia. Rehellinen vaihtoehto on porrastettu seulonta – karkeampi kuin merkitsevyystestaus, ja standardikäytäntö ostajien keskuudessa, jotka testaavat kymmeniä luovia kuukaudessa:

1. CTR-pudotus (päivät 1–3). Anna jokaiselle luovalle muutaman tuhannen näyttökerran, sitten lopeta kaikki selvästi joukon alapuolella olevat. Et todista mitään – seulot, jotta budjetti keskittyy mahdollisiin voittajiin.

2. Kulutuskaide (vierivä). Yleinen käytäntösääntö: keskeytä mikä tahansa muunnos, joka on kuluttanut 2–3× kohde-CPA:si ilman konversioita. Tämä ei ole tilastotiedettä; se on selviytyminen.

3. Merkitsevyys finalisteille. Kun kaksi tai kolme selviytyjää kantaa suurimman osan kulutuksesta, aja kunnollinen konversiotason testi niiden välillä käyttäen yllä olevaa matematiikkaa. Rahoit yhden todellisen testin kymmenen väärennetyn sijaan.

Oikotie otokseen: aloita mainoksista, jotka ovat jo selvinneet#

Jokainen muunnos, jota sinun ei tarvitse testata, on säästettyä rahaa, ja halvin tieto siitä, mikä toimii, on se, mitä kilpailijat jatkavat maksaakseen ajaakseen. Mainos, joka on ajettu 30+ päivää, on läpäissyt omistajansa kannattavuustarkistuksen jokaisena tuona päivänä. OpenAdLibrary:n indeksi 725 000+ live-natiiviluovasta 49 verkossa (kesäkuu 2026) tallentaa ensimmäisen näkemisen ja viimeisen näkemisen päivämäärät jokaiselle luovalle, mikä muuttaa mainosten pitkäikäisyyden suodatettavaksi signaaliksi ennakkoarvauksen sijaan – pisin aikaa ajettavat natiivimainokset alallasi ovat ennakkotestattu lähtöruudukko. Rakenna testisi kahden tai kolmen villissä jo todistetun kulman ympärille, ja testaat voittajan variaatioita kylmien arvausten sijaan; voit selata live-kilpailijoiden luovia ilmaiseksi natiivimainosten tutkimustyökalulla. Vähemmän, parempia muunnoksia tarkoittaa pienempiä otoksia, lyhyempiä testejä ja vähemmän budjettia poltettuna löytämiseen.

Laskettu esimerkki, alusta loppuun#

Oletetaan, että ajat 60 dollarin palkkiolead-gen -tarjousta yhdellä kampanjalla, joka tekee noin 1 500 klikkausta päivässä testisoluissasi.

• Luova vaihe: neljä luovaa kilpailee CTR-tasolla. Muutama tuhat näyttökertaa kullakin ratkeaa 2–3 päivässä; pudota parhaat kaksi.
• Maalaussivuvaihe: kaksi maalaussivua konversiotasolla. Perus-CVR noin 3 %, havaitsemalla 30 %:n suhteellinen parannus (0,9 pistettä absoluuttisesti): n ≈ 16 × 0,03 × 0,97 ÷ 0,009² ≈ 5 700 klikkausta per muunnos, noin 11 400 yhteensä. 1 500 klikkausta päivässä se on kahdeksan päivää – kutsu sitä täydeksi viikoksi plus viikonloppukattavuus.
• Päätös: yksi testisykli kestää 10–12 päivää käynnistyksestä puolustettavaan voittajaan, häviävän kulutuksen rajoittaen kaidesäännön avulla toivon sijaan.

Se on realistinen muoto "kuinka kauan": muutama päivä halpaa seulontaa, viikko-plus keskittynyttä mittausta ja kalenteripituus, jonka määrää klikkivolyymisi – ei kenenkään taikanumeropäivät.