OpenAdLibraryOpenAdLibrary
Reklam Kreatifi & Funnels

Reklam A/B Testlerini Ne Kadar Süre Çalıştırmalısınız: Örneklem Büyüklüğü Matematiği Pratik Hali

A/B test süresi folklor değil aritmetiktir: gerekli örneklem, günlük beklenen gözlem sayısına bölünür. Kullanılabilir hale getirilmiş örneklem büyüklüğü matematiği, artı dönüşüm gecikmesi, durdurma kuralları ve hiçbir takvim tabanının ya da tavanının her teste uymamasının nedeni.

Editöryal illüstrasyon: Reklam A/B Testlerini Ne Kadar Süre Çalıştırmalısınız: Örneklem Büyüklüğü Matematiği Pratik Hali

Süreyi deney birimine, temel orana, tespit etmeye değer etkiye, hata toleransına, dağıtıma ve günlük beklenen gözlem sayısına göre planlayın. Dönüşüm gecikmesini ve ilgili döngüleri de hesaba katın. Her reklam testini sonuç verici kılan evrensel bir dönüşüm sayısı veya takvim eşiği yoktur.

Süre bir takvim seçimi değil, bir çıktıdır#

Varyant başına beklenen gözlem sayısı, planlanan bir örnekleme ulaşmak için gereken süreyi etkiler. Dönüşüm sayıları tek başına gerekli örneklemi tanımlamaz: temel oranı, etki büyüklüğünü, tasarımı ve belirsizlik varsayımlarını belirtin.

  • Test ettiğiniz metriğin temel oranı — yaratıcılar için CTR, açılış sayfaları ve teklifler için dönüşüm oranı.
  • Tespit etmeye değer en küçük fark. %10'luk bir artışı tespit etmek, %50'lik bir artışı tespit etmekten çok daha fazla trafik maliyeti getirir ve çoğu küçük artış, onları görmek için harcanan parayı hak etmez.
  • Varyant başına günlük hacim — bütçeniz ve teklifleriniz tarafından belirlenir.

Gerekli gözlem sayısını seçilen tasarıma göre tahmin edin ve varyant başına günlük beklenen gözlem sayısına bölün. Ortaya çıkan pencerenin ilgili kalıp kalmadığını kontrol edin; dört haftalık bir süre otomatik bir geçersizlik eşiği değildir.

İstatistik derecesi çıkarılmış örneklem büyüklüğü matematiği#

İki bağımsız oran için kaba bir planlama yaklaşımı; eşit dağıtım, sabit bir ufuk, iki taraflı 5% anlamlılık düzeyi ve 80% güç kullanır:

varyant başına n ≈ 16 × p × (1 − p) ÷ d²

Burada p, varsayılan temel olay oranı, d ise mutlak oran farkıdır. Sonuç, dönüşümleri değil, varyant başına gözlem sayısını verir — örneğin gösterimler veya uygun ziyaretler. Yaklaşımın nadir sonuçlar, eşit olmayan dağıtım, tekrarlayan kullanıcılar, kümelenme ve tasarımdan diğer sapmalar açısından kontrol edilmesi gerekir.

Varsayımsal hesaplamalar: p=0.005 ve d=0.001, varyant başına yaklaşık 79,600 gösterim verir. p=0.02 ve d=0.005, varyant başına yaklaşık 12,544 uygun ziyaret verir. Bu tür her ziyaret US$0.40 tutuyorsa, iki kol diğer maliyetlerden önce medyada yaklaşık US$10,035 tutar. Bunlar planlama senaryolarıdır; sektör kıyaslamaları veya anlamlılık vaatleri değildir.

Test ettiğiniz şey Temel Oran Tespit Edilecek Artış Varyant Başına Örneklem
CTR (yaratıcı) %0,5 %20 göreceli ~80.000 gösterim
CTR (yaratıcı) %0,5 %50 göreceli ~13.000 gösterim
CVR (açılış sayfası) %2 %25 göreceli ~12.500 tıklama
CVR (açılış sayfası) %2 %50 göreceli ~3.100 tıklama
CVR (teklif sayfası) %5 %25 göreceli ~4.900 tıklama

Bu yaklaşıma göre, d'yi yarıya indirmek planlanan örneklemi dört katına çıkarır. CTR ve dönüşüm farklı soruları yanıtlar: bir CTR iyileşmesinin katkıyı veya edinim maliyetini iyileştirmesi gerekmez. Gösterim düzeyinde test etmenin her zaman daha ucuz veya yeterli olduğunu varsaymak yerine, metrikleri ve korkulukları karara göre seçin.

İlgili döngülere ve dönüşüm gecikmesine pay bırakın#

İlgili trafiği temsil eden ve gecikmeli sonuçların olgunlaşmasına izin veren bir pencere seçin. Haftalık desenler önemli olabilir, ancak yedi gün ne evrensel bir minimumdur ne de tasarımın temsili olduğunun kanıtıdır.

Tavan: uzun testler içeriden çürür#

Daha uzun pencereler değişen koşulları beraberinde getirebilir, ancak bir test üç veya dört hafta sonra otomatik olarak kontrollü olmaktan çıkmaz. Rastgeleleştirmeyi, eşzamanlı maruz kalmayı, kaymayı, gecikmeli sonuçları ve pratik ilgiyi değerlendirin; gerekirse tasarımı revize edin.

Gözetlemeyin — veya en azından gözetlemelere göre hareket etmeyin#

Sabit ufuklu bir testi tekrar tekrar kontrol etmek ve ilk olumlu anlamlılık sonucunda durmak, testin hata oranını değiştirebilir. Tasarımı ve analizi önceden belirleyin veya uygun bir sıralı yöntem kullanın. Operasyonel durdurma koşulları, istatistiksel bir başarı ilanından farklıdır.

Anlamlılığı karşılayamadığınızda durdurma kuralları#

Çoğu yerel ve affiliate alıcı, varyant başına 12.500 tıklamayı finanse edemez ve aksini iddia etmek sahte titizlik üretir. Dürüst alternatif, aşamalı elemedir — anlamlılık testinden daha kaba ve ayda düzinelerce yaratıcı test eden alıcılar arasında standart uygulama:

Bir finansal durdurma kuralı maruziyeti sınırlayabilir ancak istatistiksel anlamlılık sağlamaz. Onaylayıcı bir testten önce varyantları eliyorsanız, seçilimi ve çoklu karşılaştırmaları hesaba katın ve nihai karar için yeni, uygun şekilde tasarlanmış kanıtlar kullanın. 2–3× CPA kuralı veya birkaç bin gösterim evrensel bir doğrulama değildir.

Rakip gözlemlerini hipotez kurmak için kullanın#

Rakip kayıtları yaratıcı hipotezler önerebilir. 30 günlük bir gözlem aralığı, bir rakibin karlılık testini geçtiğini kanıtlamaz ve tanıdık bir açı seçmek, seçtiğiniz istatistiksel tasarım için gereken örneklemi azaltmaz.

Baştan sona işlenmiş bir örnek#

Diyelim ki $60 ödemeli bir lead-gen teklifi çalıştırıyorsunuz ve bir kampanyanız test hücrelerinizde günde kabaca 1,500 tıklama yapıyor.

p=0.03 ve d=0.009 ile varsayımsal bir eşit dağıtımlı testte, yaklaşım kol başına yaklaşık 5,748 uygun ziyaret verir. Günde toplam 1,500 uygun ziyaretle, her iki kolu toplamak, gecikme, döngüler veya diğer tasarım gereksinimleri hesaba katılmadan önce yaklaşık 7.7 gün sürer. Daha erken bir eleme aşaması, 10–12 gün sonra savunulabilir bir kazananı garanti etmez.

Planlanan bir süre, örneklem gereksinimlerini beklenen uygun trafik ve sonuçların zamanlamasıyla birleştirir. Deneyin istatistiksel veya ticari olarak belirleyici bir kazanan üreteceğinin garantisi değildir.

Sık sorulan sorular

Bir reklam A/B testinde varyant başına kaç dönüşüme ihtiyacım var?
Gereken gözlem sayısı temel orana, mutlak etkiye, güce, hata toleransına ve tasarıma bağlıdır. Gösterilen formül, bağımsız oranlar için kaba bir yaklaşımdır; kesin bir dönüşüm sayısı kuralı değildir.
Bir reklam A/B testi çalıştırmak için 3 gün yeterli mi?
Tasarıma, uygun trafiğe, ilgili döngülere ve sonuç gecikmesine bağlıdır. Üç gün belirli bir soru için çok kısa olabilir, ancak yedi gün evrensel bir geçerlilik eşiği değildir.
Reklamları CTR'da mı yoksa dönüşüm oranında mı test etmeliyim?
Metriği karara göre seçin ve alt akış korkuluklarını dahil edin. CTR ve dönüşüm oranı farklı soruları yanıtlar; bu makale evrensel bir 10–100× maliyet farkı ortaya koymaz.
Bir A/B testini anlamlılığa ulaşır ulaşmaz durdurursam ne olur?
Yanlış pozitif oranınızı önemli ölçüde şişirirsiniz. Günlük kontrol edip ilk anlamlı okumada durmak, birçok 'kazananın' daha fazla veriyle geriye dönecek gürültü olduğu anlamına gelir — klasik gözetleme sorunu. Önceden bir örneklem büyüklüğü belirleyin, günlük kontrolleri yalnızca bozuk takip veya kontrolsüz harcama gibi zararı durdurma koşulları için kullanın ve örneklem tamamlandığında bir kez değerlendirme yapın.
Testten sonra kazanan reklam varyantım neden kazanmayı bıraktı?
Olası açıklamalar arasında belirsizlik, seçilim yanlılığı, değişen trafik, gecikmeli sonuçlar ve performanstaki gerçek değişiklikler yer alır. Makale olağan bir nedeni ortaya koymamıştır; tasarımı ve sonraki verileri inceleyin.
OpenAdLibrary Ekibi
YazanOpenAdLibrary Ekibi
Reklam istihbaratı ve native reklam araştırması

Açık reklam şeffaflığı platformu OpenAdLibrary'yi geliştiriyoruz. Sistemlerimiz her gün Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo ve MSN üzerinden canlı native reklamları yakalıyor, her birinin arkasındaki gerçek reklamvereni tespit ediyor ve tıklamayı hedef sayfasına kadar takip ediyor. Bu rehberler, bu veride gördüklerimizi özetleyerek pazarı daha hızlı araştırmanızı sağlıyor.