Berapa Lama Menjalankan Tes A/B Iklan: Matematika Ukuran Sampel yang Praktis

Jalankan tes A/B iklan sampai setiap varian mengumpulkan cukup konversi untuk membuat perbedaan yang Anda pedulikan terlihat — bukan untuk jumlah hari yang tetap. Sebagai aturan praktis, itu berarti setidaknya satu minggu penuh untuk mencakup siklus hari dalam seminggu, dan antara 50 hingga beberapa ribu konversi per varian tergantung seberapa kecil perbedaan yang ingin Anda deteksi. Durasi adalah output aritmetika, bukan preferensi kalender: hari yang dibutuhkan = sampel yang diperlukan per varian ÷ volume harian per varian. Artikel ini memberikan aritmetika tersebut, batas bawah dan atas yang mengatasinya, serta urutan pengujian yang lebih murah untuk digunakan ketika matematika menunjukkan Anda tidak mampu mencapai signifikansi.

Durasi adalah output, bukan pilihan kalender#

Sebagian besar saran memberi Anda jawaban tetap — tujuh hari, empat belas hari, sebulan. Hari adalah satuan yang salah. Kampanye yang menghasilkan 40 konversi per hari menyelesaikan tes lander dalam sekitar seminggu; tes yang sama pada kampanye yang menghasilkan 4 per hari memakan lebih dari dua bulan, pada saat itu hasilnya sudah terkontaminasi oleh segala perubahan di antara. Tiga masukan menentukan durasi nyata Anda:

• Tingkat dasar metrik yang Anda uji — CTR untuk kreatif, conversion rate untuk lander dan penawaran.
• Perbedaan terkecil yang layak dideteksi. Mendeteksi kenaikan 10% memerlukan trafik jauh lebih banyak daripada mendeteksi kenaikan 50%, dan kebanyakan kenaikan kecil tidak sebanding dengan pengeluaran yang diperlukan untuk melihatnya.
• Volume harian per varian — ditentukan oleh anggaran dan tawaran Anda.

Tetapkan dua yang pertama dan sampel yang diperlukan akan keluar dari rumus. Bagi dengan yang ketiga dan Anda memperoleh durasi Anda. Jika jawabannya lebih lama dari sekitar empat minggu, langkah yang tepat biasanya mengubah tes, bukan memaksanya — selengkapnya di bawah.

Matematika ukuran sampel, tanpa gelar statistik#

Pendekatan standar untuk tes dua varian dengan kepercayaan 95% dan kekuatan 80%:

n per varian ≈ 16 × p × (1 − p) ÷ d²

dimana p adalah tingkat dasar Anda dalam bentuk desimal dan d adalah perbedaan absolut yang ingin Anda deteksi. Dua contoh kerja:

• Tes kreatif pada tingkat CTR. CTR dasar 0,5%, mendeteksi kenaikan relatif 20% (0,1 poin absolut): n ≈ 16 × 0,005 × 0,995 ÷ 0,001² ≈ 80.000 impresi per varian. Penempatan native menyajikan impresi dengan cepat dan murah, sehingga ini dapat diselesaikan dalam hitungan hari.
• Tes lander pada tingkat konversi. Tingkat konversi dasar 2%, mendeteksi kenaikan relatif 25% (0,5 poin absolut): n ≈ 16 × 0,02 × 0,98 ÷ 0,005² ≈ 12.500 klik per varian. Dengan CPC $0,40 itu menjadi tes lima digit untuk satu pasangan halaman.

Dua pelajaran muncul dari tabel tersebut. Pertama, kenaikan kecil sangat mahal: mengurangi setengah perbedaan yang dapat dideteksi meningkatkan sampel empat kali lipat. Kedua, pengujian pada tingkat impresi memakan sebagian kecil biaya dibandingkan pengujian pada tingkat klik. Asimetri ini harus membentuk seluruh program pengujian Anda: uji sudut kreatif pada tingkat CTR, uji funnel pada tingkat konversi, dan jangan pernah menguji perubahan ukuran tombol — sampel yang diperlukan untuk mendeteksinya jarang membayar dirinya sendiri.

Batas bawah: satu minggu penuh, apa pun yang dikatakan matematika#

Bahkan ketika volume memberikan sampel Anda dalam dua hari, jalankan setidaknya tujuh hari. Audiens hari kerja dan akhir pekan berperilaku berbeda — orang berbeda, perangkat berbeda, niat berbeda. Campuran penerbit pada jaringan native berputar sepanjang minggu seiring siklus berita dan jadwal konten berubah, sehingga trafik Selasa bukanlah trafik Sabtu. Jeda konversi menambah bias kedua: klik varian pada hari Kamis dapat berkonversi pada hari Sabtu, sehingga pemotongan awal secara sistematis menguntungkan varian yang memperoleh impresi lebih dulu. Tes yang berakhir di tengah minggu hanya men-sample potongan trafik yang bias, dan "pemenang" mungkin hanya spesialis hari kerja.

Batas atas: tes panjang akan membusuk dari dalam#

Setelah tiga hingga empat minggu, tes A/B tidak lagi menjadi eksperimen terkontrol. Creative fatigue mengurangi kedua varian — jarang pada kecepatan yang sama, yang secara diam‑diam membalik peringkat di tengah tes. Kompetitor masuk dan keluar dari lelang serta mengubah kualitas trafik Anda. Musiman beralih di bawah seluruh perbandingan. Jika rumus menyatakan Anda membutuhkan enam minggu trafik, bacalah itu sebagai keputusan: perbedaan yang Anda kejar terlalu kecil untuk dideteksi pada volume Anda. Uji swing yang lebih besar — hook atau angle yang berbeda, struktur funnel yang berbeda — di mana perbedaan yang dapat dideteksi besar dan sampelnya terjangkau.

Jangan mengintip — atau setidaknya jangan bertindak atas intipan#

Mode kegagalan klasik: memeriksa dasbor setiap hari dan menyatakan kemenangan pada hari pertama angka terlihat signifikan. Melihat data berulang kali meningkatkan false‑positive secara dramatis — dengan intipan harian, aturan "berhenti ketika mencapai signifikansi pada suatu titik" terjadi jauh lebih sering daripada tingkat error 5% yang diiklankan. Regresi ke rata‑rata kemudian menjelaskan sebagian besar keluhan "pemenang saya berhenti menang": varian yang melesat pada hari kedua hanya mengandalkan noise, dan kemudian kembali turun. Disiplin sederhana: tetapkan ukuran sampel sebelumnya, pantau harian hanya untuk kondisi stop‑loss — pelacakan rusak, pengeluaran meleset, varian yang berkinerja sangat buruk — dan evaluasi pemenang sekali, di akhir.

Aturan penghentian ketika Anda tidak mampu mencapai signifikansi#

Sebagian besar pembeli native dan afiliasi tidak dapat mendanai 12.500 klik per varian, dan berpura‑pura sebaliknya menghasilkan rigor palsu. Alternatif jujur adalah penyaringan bertahap — lebih kasar daripada pengujian signifikansi, dan praktik standar di antara pembeli yang menguji puluhan kreatif per bulan:

1. Penyaringan CTR (hari 1–3). Beri setiap kreatif beberapa ribu impresi, lalu hentikan semua yang jelas berada di bawah rata‑rata. Anda tidak membuktikan apa‑apa — Anda hanya menyiapkan anggaran pada pemenang yang masuk akal.
2. Batas pengeluaran (rolling). Aturan praktisi umum: jeda setiap varian yang telah menghabiskan 2–3× target CPA dengan nol konversi. Itu bukan statistik; itu adalah kelangsungan hidup.
3. Signifikansi pada finalis. Setelah dua atau tiga survivor menyerap sebagian besar pengeluaran, jalankan tes tingkat konversi yang tepat di antara mereka menggunakan matematika di atas. Anda mendanai satu tes nyata alih‑alih sepuluh tes palsu.

Mempercepat sampel: mulai dari iklan yang sudah lolos#

Setiap varian yang tidak perlu Anda uji adalah uang yang dihemat, dan informasi termurah tentang apa yang berhasil adalah apa yang terus dibayar kompetitor untuk dijalankan. Iklan yang telah berjalan lebih dari 30 hari telah melewati cek profitabilitas pemiliknya setiap hari selama periode tersebut. Indeks OpenAdLibrary yang berisi lebih dari 725.000 kreatif native live di 49 jaringan (Juni 2026) mencatat tanggal pertama kali dilihat dan terakhir dilihat untuk setiap kreatif, yang mengubah ad longevity menjadi sinyal yang dapat difilter bukan sekadar dugaan — iklan native dengan masa tayang terpanjang di vertikal Anda adalah grid awal yang sudah teruji. Bangun tes Anda di sekitar dua atau tiga angle yang sudah terbukti di lapangan dan Anda menguji variasi pada pemenang bukan tebakan dingin; Anda dapat menelusuri kreatif kompetitor live secara gratis dengan native ad research tool. Lebih sedikit varian yang lebih baik berarti sampel lebih kecil, tes lebih singkat, dan anggaran lebih sedikit terpakai untuk penemuan.

Contoh kerja, dari awal sampai akhir#

Misalkan Anda menjalankan penawaran lead‑gen dengan payout $60 dan satu kampanye menghasilkan kira‑kira 1.500 klik per hari di sel tes Anda.

• Tahap kreatif: empat kreatif bersaing pada tingkat CTR. Beberapa ribu impresi masing‑masing selesai dalam 2–3 hari; saring menjadi dua teratas.
• Tahap lander: dua lander pada tingkat konversi. CVR dasar sekitar 3%, mendeteksi kenaikan relatif 30% (0,9 poin absolut): n ≈ 16 × 0,03 × 0,97 ÷ 0,009² ≈ 5.700 klik per varian, sekitar 11.400 total. Dengan 1.500 klik per hari itu berarti delapan hari — kira‑kira satu minggu penuh plus akhir pekan.
• Keputusan: satu siklus tes berjalan 10–12 hari dari peluncuran hingga pemenang yang dapat dipertahankan, dengan pengeluaran yang kalah dibatasi oleh aturan batas pengeluaran bukan dibiarkan berjalan tanpa harapan.

Itulah bentuk realistis "berapa lama": beberapa hari triase murah, lebih dari seminggu pengukuran terfokus, dan panjang kalender yang ditentukan oleh volume klik Anda — bukan oleh angka ajaib hari mana pun.