Şampiyon / Meydan Okuyan Testi

Şampiyon/meydan okuyan testi, yeni bir reklam, başlık veya teklif ayarının ("meydan okuyan") mevcut en iyi performans gösteren öğenizi ("şampiyon") gerçekten yenip yenmediğini, onu değiştirmeden önce canlı trafiğe dayalı karar vermenizi sağlayan bir yöntemdir. Kör bir test yerine kanıtlanmış kazananı çalışır durumda tutar ve trafiğin bir kısmını meydan okuyana yönlendirirsiniz; ardından aynı pazar koşulları altında sonuçları karşılaştırırsınız.

İsmin Kökeni#

Terim, dijital reklamcılıktan çok daha eskidir. Direkt posta pazarlamacıları ve daha sonra bankacılık ve sigorta şirketleri, bir kontrol teklifinin (şampiyon) yeni meydan okuyanlara karşı konumunu nasıl savunduğunu tanımlamak için şampiyon/meydan okuyan ifadesini kullandı; yalnızca bir meydan okuyan gerçek yanıt verileriyle kendini kanıtladığında yerini bıraktı. Yerel ve sosyal reklam platformları aynı mantığı benimsedi çünkü bu gerçek bir sorunu çözer: saf A/B testleri her reklamı kanıtlanmamış kabul eder, ancak pratikte zaten dönüşüm sağlayan mevcut bir reklam kreatifi neredeyse her zaman vardır.

Yerel bir kampanyada nasıl çalışır#

Diyelim ki Taboola’da üç hafta boyunca kârlı bir şekilde çalışan bir başlığınız var. Beş yeni kancayı eşit şekilde test etmek yerine, şampiyonun bütçenin büyük kısmını almasını sağlarsınız ve daha küçük, sabit bir trafik payını bir ya da iki meydan okuyana yönlendirirsiniz. Edinim başına maliyeti ve dönüşüm oranını, sayıları güvenilir kılacak kadar büyük bir örneklem üzerinden izlersiniz, sadece bir iki gün değil. Bir meydan okuyan şampiyonu anlamlı bir farkla yenerse, yeni şampiyon olur ve döngü tekrar eder. Yenemezse, onu sonlandırıp bir sonraki fikri denersiniz; orijinal ise tüm süre boyunca gelir getirmeye devam eder.

Bu, akıllı teklif algoritmalarının hacim ve zamana ihtiyaç duyduğu ağlarda daha çok önem taşır. En iyi performans gösteren reklamınızı sürekli değiştirmek bu optimizasyonu sıfırlar ve algoritma için yeni bir öğrenme aşaması başlatabilir; bu yüzden şampiyonu korumak sadece temkinli bir yaklaşım değil, genellikle genel hesap performansına daha hızlı ulaşmanın yoludur; bu konu daha derinlemesine Taboola reklamlarının nasıl çalıştığı bölümünde ele alınmıştır.

Şampiyon/meydan okuyan vs. doğrudan A/B testi#

A/B testi genellikle iki bilinmeyenin soğuk bir başlangıçtan eşit bir bölünmeyle rekabet etmesini ima eder. Şampiyon/meydan okuyan testi bir tarafın zaten bir geçmişe sahip olduğunu varsayar, bu yüzden bölünme genellikle dengesizdir (örneğin %80/20 veya %90/10) ve meydan okuyanın kazanma eşiği daha yüksektir; çünkü sadece "daha iyi"yi değil, "zaten kanıtlanmış bir şeye göre daha iyi"yi arıyorsunuz. Dikey bir alanda kazanan reklamları bulma üzerine araştırma yapan alıcılar aynı sezgiyi tanır: bir rakibin uzun süredir çalışan kreatifi büyük olasılıkla o reklamverenin mevcut şampiyonudur ve onları test ederken gördüğünüz yeni varyasyonlar, ona karşı denenen meydan okuyanlar olabilir.

Rekabetçi verileri kullanarak meydan okuyanları oluşturma#

Şampiyon/meydan okuyan testini kendi hesabınız dışına çıkarmanın pratik bir yolu, zaten başka yerlerde hayatta kalanları incelemektir. Bir rakibin reklamının Outbrain veya MGID üzerinde haftalarca yayında olduğu gözlemlenmişse, muhtemelen kendi iç meydan okuyan turlarından sağ çıkmıştır. Onun kancasını ve açısını incelemek, soğuk bir tahmin yerine daha güçlü bir başlangıç meydan okuyanı sağlar; bu da OpenAdLibrary'nin reklam istihbarat araçlarının var olmasının nedenlerinden biridir: bütçenizi kendiniz keşfetmek için harcamadan önce, piyasadaki kreatiflerin ne kadar süredir yayında gözlemlendiğini gösterirler; bu, hangilerinin yerini koruduğuna dair kaba bir işarettir.

Yaygın hatalar#

İki başarısızlık modu vardır: örneklem büyüklüğü desteklemeden bir kazananı çok erken ilan etmek ve bir meydan okuyan açıkça üstün performans gösterdiğinde bile şampiyonu emekli etmemek; bu genellikle duygusal ya da tembel nedenlerle olur. Her iki durum da bütçeyi boşa harcar. Yazılı bir kural (örneğin, sonuçları karşılaştırmadan önce minimum harcama veya dönüşüm sayısı ve bu eşik aşıldığında otomatik değişim) tahmin oyununu ve gürültülü erken sayıları göz kararı değerlendirme cazibesini ortadan kaldırır.