Reklam A/B Testlerini Ne Kadar Süre Çalıştırmalısınız: Örneklem Büyüklüğü Matematiği Pratik Hali
A/B test süresi folklor değil aritmetiktir: gerekli örneklem, günlük beklenen gözlem sayısına bölünür. Kullanılabilir hale getirilmiş örneklem büyüklüğü matematiği, artı dönüşüm gecikmesi, durdurma kuralları ve hiçbir takvim tabanının ya da tavanının her teste uymamasının nedeni.

Süreyi deney birimine, temel orana, tespit etmeye değer etkiye, hata toleransına, dağıtıma ve günlük beklenen gözlem sayısına göre planlayın. Dönüşüm gecikmesini ve ilgili döngüleri de hesaba katın. Her reklam testini sonuç verici kılan evrensel bir dönüşüm sayısı veya takvim eşiği yoktur.
Süre bir takvim seçimi değil, bir çıktıdır#
Varyant başına beklenen gözlem sayısı, planlanan bir örnekleme ulaşmak için gereken süreyi etkiler. Dönüşüm sayıları tek başına gerekli örneklemi tanımlamaz: temel oranı, etki büyüklüğünü, tasarımı ve belirsizlik varsayımlarını belirtin.
- Test ettiğiniz metriğin temel oranı — yaratıcılar için CTR, açılış sayfaları ve teklifler için dönüşüm oranı.
- Tespit etmeye değer en küçük fark. %10'luk bir artışı tespit etmek, %50'lik bir artışı tespit etmekten çok daha fazla trafik maliyeti getirir ve çoğu küçük artış, onları görmek için harcanan parayı hak etmez.
- Varyant başına günlük hacim — bütçeniz ve teklifleriniz tarafından belirlenir.
Gerekli gözlem sayısını seçilen tasarıma göre tahmin edin ve varyant başına günlük beklenen gözlem sayısına bölün. Ortaya çıkan pencerenin ilgili kalıp kalmadığını kontrol edin; dört haftalık bir süre otomatik bir geçersizlik eşiği değildir.
İstatistik derecesi çıkarılmış örneklem büyüklüğü matematiği#
İki bağımsız oran için kaba bir planlama yaklaşımı; eşit dağıtım, sabit bir ufuk, iki taraflı 5% anlamlılık düzeyi ve 80% güç kullanır:
varyant başına n ≈ 16 × p × (1 − p) ÷ d²
Burada p, varsayılan temel olay oranı, d ise mutlak oran farkıdır. Sonuç, dönüşümleri değil, varyant başına gözlem sayısını verir — örneğin gösterimler veya uygun ziyaretler. Yaklaşımın nadir sonuçlar, eşit olmayan dağıtım, tekrarlayan kullanıcılar, kümelenme ve tasarımdan diğer sapmalar açısından kontrol edilmesi gerekir.
Varsayımsal hesaplamalar: p=0.005 ve d=0.001, varyant başına yaklaşık 79,600 gösterim verir. p=0.02 ve d=0.005, varyant başına yaklaşık 12,544 uygun ziyaret verir. Bu tür her ziyaret US$0.40 tutuyorsa, iki kol diğer maliyetlerden önce medyada yaklaşık US$10,035 tutar. Bunlar planlama senaryolarıdır; sektör kıyaslamaları veya anlamlılık vaatleri değildir.
| Test ettiğiniz şey | Temel Oran | Tespit Edilecek Artış | Varyant Başına Örneklem |
|---|---|---|---|
| CTR (yaratıcı) | %0,5 | %20 göreceli | ~80.000 gösterim |
| CTR (yaratıcı) | %0,5 | %50 göreceli | ~13.000 gösterim |
| CVR (açılış sayfası) | %2 | %25 göreceli | ~12.500 tıklama |
| CVR (açılış sayfası) | %2 | %50 göreceli | ~3.100 tıklama |
| CVR (teklif sayfası) | %5 | %25 göreceli | ~4.900 tıklama |
Bu yaklaşıma göre, d'yi yarıya indirmek planlanan örneklemi dört katına çıkarır. CTR ve dönüşüm farklı soruları yanıtlar: bir CTR iyileşmesinin katkıyı veya edinim maliyetini iyileştirmesi gerekmez. Gösterim düzeyinde test etmenin her zaman daha ucuz veya yeterli olduğunu varsaymak yerine, metrikleri ve korkulukları karara göre seçin.
İlgili döngülere ve dönüşüm gecikmesine pay bırakın#
İlgili trafiği temsil eden ve gecikmeli sonuçların olgunlaşmasına izin veren bir pencere seçin. Haftalık desenler önemli olabilir, ancak yedi gün ne evrensel bir minimumdur ne de tasarımın temsili olduğunun kanıtıdır.
Tavan: uzun testler içeriden çürür#
Daha uzun pencereler değişen koşulları beraberinde getirebilir, ancak bir test üç veya dört hafta sonra otomatik olarak kontrollü olmaktan çıkmaz. Rastgeleleştirmeyi, eşzamanlı maruz kalmayı, kaymayı, gecikmeli sonuçları ve pratik ilgiyi değerlendirin; gerekirse tasarımı revize edin.
Gözetlemeyin — veya en azından gözetlemelere göre hareket etmeyin#
Sabit ufuklu bir testi tekrar tekrar kontrol etmek ve ilk olumlu anlamlılık sonucunda durmak, testin hata oranını değiştirebilir. Tasarımı ve analizi önceden belirleyin veya uygun bir sıralı yöntem kullanın. Operasyonel durdurma koşulları, istatistiksel bir başarı ilanından farklıdır.
Anlamlılığı karşılayamadığınızda durdurma kuralları#
Çoğu yerel ve affiliate alıcı, varyant başına 12.500 tıklamayı finanse edemez ve aksini iddia etmek sahte titizlik üretir. Dürüst alternatif, aşamalı elemedir — anlamlılık testinden daha kaba ve ayda düzinelerce yaratıcı test eden alıcılar arasında standart uygulama:
Bir finansal durdurma kuralı maruziyeti sınırlayabilir ancak istatistiksel anlamlılık sağlamaz. Onaylayıcı bir testten önce varyantları eliyorsanız, seçilimi ve çoklu karşılaştırmaları hesaba katın ve nihai karar için yeni, uygun şekilde tasarlanmış kanıtlar kullanın. 2–3× CPA kuralı veya birkaç bin gösterim evrensel bir doğrulama değildir.
Rakip gözlemlerini hipotez kurmak için kullanın#
Rakip kayıtları yaratıcı hipotezler önerebilir. 30 günlük bir gözlem aralığı, bir rakibin karlılık testini geçtiğini kanıtlamaz ve tanıdık bir açı seçmek, seçtiğiniz istatistiksel tasarım için gereken örneklemi azaltmaz.
Baştan sona işlenmiş bir örnek#
Diyelim ki $60 ödemeli bir lead-gen teklifi çalıştırıyorsunuz ve bir kampanyanız test hücrelerinizde günde kabaca 1,500 tıklama yapıyor.
p=0.03 ve d=0.009 ile varsayımsal bir eşit dağıtımlı testte, yaklaşım kol başına yaklaşık 5,748 uygun ziyaret verir. Günde toplam 1,500 uygun ziyaretle, her iki kolu toplamak, gecikme, döngüler veya diğer tasarım gereksinimleri hesaba katılmadan önce yaklaşık 7.7 gün sürer. Daha erken bir eleme aşaması, 10–12 gün sonra savunulabilir bir kazananı garanti etmez.
Planlanan bir süre, örneklem gereksinimlerini beklenen uygun trafik ve sonuçların zamanlamasıyla birleştirir. Deneyin istatistiksel veya ticari olarak belirleyici bir kazanan üreteceğinin garantisi değildir.







