Berapa Lama Menjalankan Tes A/B Iklan: Matematika Ukuran Sampel yang Praktis
Durasi tes A/B adalah aritmetika, bukan mitos: sampel yang dibutuhkan dibagi ekspektasi observasi harian. Matematika ukuran sampel yang dapat dipakai, plus jeda konversi, aturan penghentian, dan mengapa tidak ada batas bawah atau batas atas kalender yang cocok untuk setiap tes.

Rencanakan durasi dari unit eksperimen, tingkat dasar, efek yang layak dideteksi, toleransi galat, alokasi, dan ekspektasi observasi per hari. Perhitungkan juga jeda konversi dan siklus yang relevan. Tidak ada ambang jumlah konversi atau kalender universal yang membuat setiap tes iklan konklusif.
Durasi adalah output, bukan pilihan kalender#
Ekspektasi observasi per varian memengaruhi waktu yang dibutuhkan untuk mencapai sampel yang direncanakan. Jumlah konversi saja tidak menentukan sampel yang dibutuhkan: tentukan tingkat dasar, ukuran efek, desain, dan asumsi ketidakpastian.
- Tingkat dasar metrik yang Anda uji — CTR untuk kreatif, conversion rate untuk lander dan penawaran.
- Perbedaan terkecil yang layak dideteksi. Mendeteksi kenaikan 10% memerlukan trafik jauh lebih banyak daripada mendeteksi kenaikan 50%, dan kebanyakan kenaikan kecil tidak sebanding dengan pengeluaran yang diperlukan untuk melihatnya.
- Volume harian per varian — ditentukan oleh anggaran dan tawaran Anda.
Perkirakan observasi yang dibutuhkan berdasarkan desain yang dipilih dan bagi dengan ekspektasi observasi per varian per hari. Periksa apakah jendela yang dihasilkan tetap relevan; durasi empat minggu bukan ambang ketidakvalidan otomatis.
Matematika ukuran sampel, tanpa gelar statistik#
Satu perkiraan perencanaan kasar untuk dua proporsi independen menggunakan alokasi yang sama, horizon tetap, tingkat signifikansi 5% dua sisi, dan kekuatan 80%:
n per varian ≈ 16 × p × (1 − p) ÷ d²
Di sini p adalah tingkat peristiwa dasar yang diasumsikan dan d adalah perbedaan tingkat absolut. Hasilnya menghitung observasi per varian, seperti impresi atau kunjungan yang memenuhi syarat, bukan konversi. Perkiraan ini perlu diperiksa untuk hasil yang jarang, alokasi yang tidak sama, pengguna berulang, pengelompokan, dan penyimpangan lain dari desain.
Perhitungan hipotetis: p=0.005 dan d=0.001 menghasilkan sekitar 79,600 impresi per varian. p=0.02 dan d=0.005 menghasilkan sekitar 12,544 kunjungan yang memenuhi syarat per varian. Jika setiap kunjungan tersebut berbiaya US$0.40, dua lengan berbiaya sekitar US$10,035 untuk media sebelum biaya lain. Ini adalah skenario perencanaan, bukan tolok ukur industri atau janji signifikansi.
| Apa yang Anda uji | Tingkat dasar | Kenaikan yang dideteksi | Sampel per varian |
|---|---|---|---|
| CTR (kreatif) | 0.5% | 20% relatif | ~80.000 impresi |
| CTR (kreatif) | 0.5% | 50% relatif | ~13.000 impresi |
| CVR (lander) | 2% | 25% relatif | ~12.500 klik |
| CVR (lander) | 2% | 50% relatif | ~3.100 klik |
| CVR (halaman penawaran) | 5% | 25% relatif | ~4.900 klik |
Dalam perkiraan ini, mengurangi setengah d membuat sampel yang direncanakan menjadi empat kali lipat. CTR dan konversi menjawab pertanyaan yang berbeda: peningkatan CTR belum tentu memperbaiki kontribusi atau biaya akuisisi. Pilih metrik dan pengaman seputar keputusan, bukan dengan menganggap pengujian pada tingkat impresi selalu lebih murah atau memadai.
Perhitungkan siklus yang relevan dan jeda konversi#
Pilih jendela yang mewakili trafik relevan dan memungkinkan hasil yang tertunda menjadi matang. Pola mingguan mungkin penting, tetapi tujuh hari bukanlah minimum universal atau bukti bahwa desainnya representatif.
Batas atas: tes panjang akan membusuk dari dalam#
Jendela yang lebih panjang dapat memasukkan kondisi yang berubah, tetapi tes tidak otomatis berhenti menjadi terkontrol setelah tiga atau empat minggu. Kaji pengacakan, eksposur bersamaan, pergeseran, hasil yang tertunda, dan relevansi praktis; revisi desain jika diperlukan.
Jangan mengintip — atau setidaknya jangan bertindak atas intipan#
Memeriksa tes dengan horizon tetap secara berulang dan berhenti pada hasil signifikansi pertama yang menguntungkan dapat mengubah tingkat galatnya. Tetapkan desain dan analisis sebelumnya, atau gunakan metode sekuensial yang sesuai. Kondisi penghentian operasional berbeda dari deklarasi keberhasilan statistik.
Aturan penghentian ketika Anda tidak mampu mencapai signifikansi#
Sebagian besar pembeli native dan afiliasi tidak dapat mendanai 12.500 klik per varian, dan berpura‑pura sebaliknya menghasilkan rigor palsu. Alternatif jujur adalah penyaringan bertahap — lebih kasar daripada pengujian signifikansi, dan praktik standar di antara pembeli yang menguji puluhan kreatif per bulan:
Aturan penghentian finansial dapat membatasi eksposur tetapi tidak menetapkan signifikansi statistik. Jika menyaring varian sebelum tes konfirmatori, perhitungkan seleksi dan perbandingan berganda serta gunakan bukti baru yang dirancang dengan tepat untuk keputusan akhir. Aturan 2–3× CPA atau beberapa ribu impresi bukan validasi universal.
Gunakan observasi kompetitor untuk membentuk hipotesis#
Tangkapan kompetitor dapat menyarankan hipotesis kreatif. Rentang observasi 30 hari tidak membuktikan bahwa kompetitor lulus tes profit, dan memilih angle yang familiar tidak mengurangi sampel yang dibutuhkan untuk desain statistik yang Anda pilih.
Contoh kerja, dari awal sampai akhir#
Misalkan Anda menjalankan penawaran lead‑gen dengan payout $60 dan satu kampanye menghasilkan kira‑kira 1.500 klik per hari di sel tes Anda.
Dalam tes hipotetis dengan alokasi sama dengan p=0.03 dan d=0.009, perkiraan tersebut menghasilkan sekitar 5,748 kunjungan yang memenuhi syarat per lengan. Dengan total 1,500 kunjungan yang memenuhi syarat per hari, mengumpulkan kedua lengan membutuhkan sekitar 7.7 hari sebelum memperhitungkan jeda, siklus, atau persyaratan desain lainnya. Tahap penyaringan sebelumnya tidak menjamin pemenang yang dapat dipertahankan setelah 10–12 hari.
Durasi yang direncanakan menggabungkan persyaratan sampel dengan ekspektasi trafik yang memenuhi syarat dan waktu hasil. Ini bukan jaminan bahwa eksperimen akan menghasilkan pemenang yang menentukan secara statistik atau komersial.







