İstatistiksel Anlamlılık (Reklam Testi)

İstatistiksel anlamlılık, reklam testinde iki varyant arasındaki gözlemlenen farkın, CTR, dönüşüm oranı veya başka bir metrik açısından, büyük olasılıkla rastgele şanstan değil, gerçek bir performans boşluğundan kaynaklandığını ifade eder. Bu, her medya satın alıcısının sonunda sorduğu soruya yanıt verir: varyant B gerçekten daha mı iyi, yoksa küçük bir örneklemle şans eseri mi daha iyi göründü?

Küçük örneklemlerin neden yanıltıcı olduğu#

Sadece birkaç tıklama veya dönüşüm olduğunda, rastgele varyasyon bir vasat reklamı kısa bir süre için kazanan gibi gösterirken, gerçekten güçlü bir reklamı kaybeden gibi gösterebilir. Gerçek %3 dönüşüm oranına sahip bir başlık, sadece yirmi ziyaretçi üzerinden %0 ya da %10 gösterebilir, tamamen şansa bağlı olarak. Anlamlılık testi, örneklem büyüklüğünü, dönüşüm oranını ve gözlemlenen boşluğun büyüklüğünü değerlendirerek sonucun daha fazla trafik geldiğinde geçerliliğini koruma olasılığının ne kadar yüksek olduğunu tahmin eder.

İstatistik diploması olmadan alıcıların nasıl uyguladığı#

Çoğu kişi matematiği elle yapmaz. Ücretsiz bir anlamlılık hesaplayıcı kullanır, her varyant için ziyaretçi ve dönüşüm sayılarını girer ve bir kazanan ilan etmeden önce güven seviyesinin genellikle %90 ya da %95 olan bir eşiği aşıp aşmadığını kontrol eder. Bunun altında yatan pratik kural şudur: sadece daha fazla tıklama değil, daha fazla dönüşüm, güveni gerçekten inşa eder. Binlerce tıklamaya sahip ama her varyantta sadece birkaç dönüşüm olan bir test, ne kadar uzun süre çalışırsa çalışsın güvenilir değildir.

Pratik bir kural#

Evrensel bir minimum örneklem büyüklüğü yoktur; bu, temel dönüşüm oranına ve tespit etmeye çalıştığınız farkın büyüklüğüne bağlıdır. Birçok alıcı, varyant başına birkaç düzine dönüşümün altındaki her şeyi güvenilmez olacak kadar yetersiz bulur ve ciddi bütçeyi yeniden dağıtmadan önce anlamlı ölçüde daha fazla dönüşüm bekler. Revcontent veya MediaGo gibi düşük hacimli ağlarda, yüksek hacimli bir ağ olan Taboola ile karşılaştırıldığında, güvenilir bir örnekleme ulaşmak belirgin şekilde daha uzun sürebilir; bu da düşük performans gösteren varyantları ne kadar agresif bir şekilde kesmeniz gerektiğini etkiler.

Kendi testlerinizin ötesinde neden önemli#

Bu mantık, dışarıdan bir rakibin reklamını değerlendirirken de geçerlidir. Sadece iki gün çalışan bir kreatif, haftalarca çalıştığı doğrulanmış bir kreatif kadar bilgi vermez; bu yüzden reklam ömrü kaba bir dışsal gösterge olarak işe yarar: uzun süre hayatta kalan bir reklam, muhtemelen kendi iç anlamlılık eşiğini zaten aşmıştır, reklamverenin gerçek sayılarını göremeseniz bile. OpenAdLibrary, yakaladığı her kreatifin ağlar genelinde ne kadar süredir gözlemlendiğini kaydeder ve size bu dış sinyali, kimsenin kontrol paneline erişmeden sunar. Bunu reklam istihbarat platformu üzerinden keşfedin.

Bu aynı zamanda alıcıların, küçük bir testten devasa bir artış iddia eden dikkat çekici vaka çalışmalarına şüpheyle yaklaşması gerektiğini gösterir. Küçük örneklemlerdeki büyük yüzde dalgalanmaları, rastgele gürültünün tam olarak ürettiği şeydir ve meşru bir sonuç, hacim arttıkça tutarlı kalmalı, sadece bir kez ortaya çıkıp kaybolmamalıdır.