OpenAdLibraryOpenAdLibrary
Kreatif Iklan & Funnel

Berapa Lama Menjalankan Tes A/B Iklan: Matematika Ukuran Sampel yang Praktis

Durasi tes A/B adalah aritmetika, bukan mitos: sampel yang dibutuhkan dibagi ekspektasi observasi harian. Matematika ukuran sampel yang dapat dipakai, plus jeda konversi, aturan penghentian, dan mengapa tidak ada batas bawah atau batas atas kalender yang cocok untuk setiap tes.

Ilustrasi editorial: Berapa Lama Menjalankan Tes A/B Iklan: Matematika Ukuran Sampel yang Praktis

Rencanakan durasi dari unit eksperimen, tingkat dasar, efek yang layak dideteksi, toleransi galat, alokasi, dan ekspektasi observasi per hari. Perhitungkan juga jeda konversi dan siklus yang relevan. Tidak ada ambang jumlah konversi atau kalender universal yang membuat setiap tes iklan konklusif.

Durasi adalah output, bukan pilihan kalender#

Ekspektasi observasi per varian memengaruhi waktu yang dibutuhkan untuk mencapai sampel yang direncanakan. Jumlah konversi saja tidak menentukan sampel yang dibutuhkan: tentukan tingkat dasar, ukuran efek, desain, dan asumsi ketidakpastian.

  • Tingkat dasar metrik yang Anda uji — CTR untuk kreatif, conversion rate untuk lander dan penawaran.
  • Perbedaan terkecil yang layak dideteksi. Mendeteksi kenaikan 10% memerlukan trafik jauh lebih banyak daripada mendeteksi kenaikan 50%, dan kebanyakan kenaikan kecil tidak sebanding dengan pengeluaran yang diperlukan untuk melihatnya.
  • Volume harian per varian — ditentukan oleh anggaran dan tawaran Anda.

Perkirakan observasi yang dibutuhkan berdasarkan desain yang dipilih dan bagi dengan ekspektasi observasi per varian per hari. Periksa apakah jendela yang dihasilkan tetap relevan; durasi empat minggu bukan ambang ketidakvalidan otomatis.

Matematika ukuran sampel, tanpa gelar statistik#

Satu perkiraan perencanaan kasar untuk dua proporsi independen menggunakan alokasi yang sama, horizon tetap, tingkat signifikansi 5% dua sisi, dan kekuatan 80%:

n per varian ≈ 16 × p × (1 − p) ÷ d²

Di sini p adalah tingkat peristiwa dasar yang diasumsikan dan d adalah perbedaan tingkat absolut. Hasilnya menghitung observasi per varian, seperti impresi atau kunjungan yang memenuhi syarat, bukan konversi. Perkiraan ini perlu diperiksa untuk hasil yang jarang, alokasi yang tidak sama, pengguna berulang, pengelompokan, dan penyimpangan lain dari desain.

Perhitungan hipotetis: p=0.005 dan d=0.001 menghasilkan sekitar 79,600 impresi per varian. p=0.02 dan d=0.005 menghasilkan sekitar 12,544 kunjungan yang memenuhi syarat per varian. Jika setiap kunjungan tersebut berbiaya US$0.40, dua lengan berbiaya sekitar US$10,035 untuk media sebelum biaya lain. Ini adalah skenario perencanaan, bukan tolok ukur industri atau janji signifikansi.

Apa yang Anda uji Tingkat dasar Kenaikan yang dideteksi Sampel per varian
CTR (kreatif) 0.5% 20% relatif ~80.000 impresi
CTR (kreatif) 0.5% 50% relatif ~13.000 impresi
CVR (lander) 2% 25% relatif ~12.500 klik
CVR (lander) 2% 50% relatif ~3.100 klik
CVR (halaman penawaran) 5% 25% relatif ~4.900 klik

Dalam perkiraan ini, mengurangi setengah d membuat sampel yang direncanakan menjadi empat kali lipat. CTR dan konversi menjawab pertanyaan yang berbeda: peningkatan CTR belum tentu memperbaiki kontribusi atau biaya akuisisi. Pilih metrik dan pengaman seputar keputusan, bukan dengan menganggap pengujian pada tingkat impresi selalu lebih murah atau memadai.

Perhitungkan siklus yang relevan dan jeda konversi#

Pilih jendela yang mewakili trafik relevan dan memungkinkan hasil yang tertunda menjadi matang. Pola mingguan mungkin penting, tetapi tujuh hari bukanlah minimum universal atau bukti bahwa desainnya representatif.

Batas atas: tes panjang akan membusuk dari dalam#

Jendela yang lebih panjang dapat memasukkan kondisi yang berubah, tetapi tes tidak otomatis berhenti menjadi terkontrol setelah tiga atau empat minggu. Kaji pengacakan, eksposur bersamaan, pergeseran, hasil yang tertunda, dan relevansi praktis; revisi desain jika diperlukan.

Jangan mengintip — atau setidaknya jangan bertindak atas intipan#

Memeriksa tes dengan horizon tetap secara berulang dan berhenti pada hasil signifikansi pertama yang menguntungkan dapat mengubah tingkat galatnya. Tetapkan desain dan analisis sebelumnya, atau gunakan metode sekuensial yang sesuai. Kondisi penghentian operasional berbeda dari deklarasi keberhasilan statistik.

Aturan penghentian ketika Anda tidak mampu mencapai signifikansi#

Sebagian besar pembeli native dan afiliasi tidak dapat mendanai 12.500 klik per varian, dan berpura‑pura sebaliknya menghasilkan rigor palsu. Alternatif jujur adalah penyaringan bertahap — lebih kasar daripada pengujian signifikansi, dan praktik standar di antara pembeli yang menguji puluhan kreatif per bulan:

Aturan penghentian finansial dapat membatasi eksposur tetapi tidak menetapkan signifikansi statistik. Jika menyaring varian sebelum tes konfirmatori, perhitungkan seleksi dan perbandingan berganda serta gunakan bukti baru yang dirancang dengan tepat untuk keputusan akhir. Aturan 2–3× CPA atau beberapa ribu impresi bukan validasi universal.

Gunakan observasi kompetitor untuk membentuk hipotesis#

Tangkapan kompetitor dapat menyarankan hipotesis kreatif. Rentang observasi 30 hari tidak membuktikan bahwa kompetitor lulus tes profit, dan memilih angle yang familiar tidak mengurangi sampel yang dibutuhkan untuk desain statistik yang Anda pilih.

Contoh kerja, dari awal sampai akhir#

Misalkan Anda menjalankan penawaran lead‑gen dengan payout $60 dan satu kampanye menghasilkan kira‑kira 1.500 klik per hari di sel tes Anda.

Dalam tes hipotetis dengan alokasi sama dengan p=0.03 dan d=0.009, perkiraan tersebut menghasilkan sekitar 5,748 kunjungan yang memenuhi syarat per lengan. Dengan total 1,500 kunjungan yang memenuhi syarat per hari, mengumpulkan kedua lengan membutuhkan sekitar 7.7 hari sebelum memperhitungkan jeda, siklus, atau persyaratan desain lainnya. Tahap penyaringan sebelumnya tidak menjamin pemenang yang dapat dipertahankan setelah 10–12 hari.

Durasi yang direncanakan menggabungkan persyaratan sampel dengan ekspektasi trafik yang memenuhi syarat dan waktu hasil. Ini bukan jaminan bahwa eksperimen akan menghasilkan pemenang yang menentukan secara statistik atau komersial.

Pertanyaan yang sering diajukan

Berapa banyak konversi yang saya butuhkan per varian dalam tes A/B iklan?
Observasi yang dibutuhkan bergantung pada tingkat dasar, efek absolut, kekuatan, toleransi galat, dan desain. Rumus yang ditampilkan adalah perkiraan kasar untuk proporsi independen, bukan aturan jumlah konversi yang tepat.
Apakah 3 hari cukup lama untuk menjalankan tes A/B iklan?
Itu bergantung pada desain, trafik yang memenuhi syarat, siklus yang relevan, dan jeda hasil. Tiga hari bisa terlalu singkat untuk pertanyaan tertentu, tetapi tujuh hari bukan ambang validitas universal.
Haruskah saya menguji iklan berdasarkan CTR atau tingkat konversi?
Pilih metrik untuk keputusan dan sertakan pengaman hilir. CTR dan tingkat konversi menjawab pertanyaan yang berbeda; artikel ini tidak menetapkan perbedaan biaya 10–100× yang universal.
Apa yang terjadi jika saya menghentikan tes A/B segera setelah mencapai signifikansi?
Anda akan meningkatkan tingkat false‑positive secara dramatis. Memeriksa setiap hari dan menghentikan pada pembacaan signifikan pertama berarti banyak “pemenang” hanyalah noise yang akan kembali menurun dengan data lebih banyak — masalah klasik peeking. Tetapkan ukuran sampel sebelumnya, gunakan pemeriksaan harian hanya untuk kondisi stop‑loss seperti pelacakan rusak atau pengeluaran yang meleset, dan evaluasi sekali ketika sampel selesai.
Mengapa varian iklan pemenang saya berhenti menang setelah tes?
Kemungkinan penjelasannya meliputi ketidakpastian, bias seleksi, perubahan trafik, hasil yang tertunda, dan perubahan kinerja yang sebenarnya. Artikel ini tidak menetapkan penyebab yang biasa; periksa desain dan data selanjutnya.
Tim OpenAdLibrary
Ditulis olehTim OpenAdLibrary
Intelijen iklan & riset iklan native

Kami membangun OpenAdLibrary, platform transparansi iklan terbuka. Setiap hari sistem kami menangkap iklan native langsung di seluruh Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo, dan MSN, mengidentifikasi pengiklan asli di balik setiap iklan, dan mengikuti klik ke halaman landasnya. Panduan ini merangkum apa yang kami lihat dalam data tersebut sehingga Anda dapat meneliti pasar dengan lebih cepat.