Holdout Testi (Reklamcılık): Tanım ve Kullanımlar

Bir holdout testi, bir reklamı ya da pazarlama tedavisini izleyicinizin bir kısmından, holdout grubundan, çekerek, geri kalan izleyicinin almaya devam ettiği bir deney tasarımıdır; ardından iki grup arasındaki sonuçlar karşılaştırılarak tedavinin gerçek etkisi ölçülür. Reklamcılıkta nedensel ölçüm deneylerinin daha geniş ailesi için kullanılan genel bir terimdir; tam bölgesel duraklamadan dar frekans‑kap testi kadar her şeyi kapsar.

Temel mekanikler#

İzleyiciyi, sonuç metriğinizi (geçmiş satın alma davranışı, bölge, cihaz türü vb.) tahmin eden özellikler açısından mümkün olduğunca benzer iki gruba bölün. Bir grup, holdout, hiçbir reklam (veya yerinde bir kamu hizmeti mesajı) görmez; diğer grup kampanyayı normal şekilde alır. Belirli bir süre sonunda, iki grup arasındaki dönüşüm oranı, gelir ya da test ettiğiniz diğer metriği karşılaştırın. Gruplar arasındaki temel fark için ayarlanan bu fark, tedavinin artı etkisidir.

Platformların bunu yerleşik sunmasının nedeni#

Kendin‑yap demand-side platform sunan çoğu büyük reklam platformu artık bazı yerleşik dönüşüm‑artış ya da holdout test araçları sağlıyor, çünkü reklamverenler kendi conversion tracking panellerinin dürüstçe yanıtlayamadığı aynı soruyu soruyor: "Bu dönüşümler zaten gerçekleşir miydi?" Güçlü bir ROAS sayısı gösteren bir panel, ilişkili dönüşümleri rapor eder, mutlaka neden olanları değil; ve yalnızca gerçek bir holdout ikisini ayırır.

Funnel boyunca holdout testlerinin kullanıldığı yerler#

Tam kanal holdout, bir ağ ya da kanalın bir kullanıcı ya da bölge alt kümesi için tamamen durdurulmasıdır; bu, bölgesel artış testinin tasarımıdır. Kampanya‑seviyesi holdout, diğerleri devam ederken belirli bir kampanyayı durdurur, böylece kampanyanın etkisi kanalın temelinden izole edilir. Frekans holdout, bir kullanıcının bir reklamı kaç kez gördüğünü sınırlar, ardından sınırsız bir grupla karşılaştırır; bu, creative fatigue ve azalan getirileri ölçmek için faydalıdır.

Pratik kısıtlamalar#

Bir holdout testi yürütmek, test süresi boyunca bazı gerçek, adreslenebilir müşterilere reklam göstermemeyi kasıtlı olarak içerir; bu da gerçek bir kısa vadeli maliyet yaratır. Bu, artış‑odaklı her ekibin kabul ettiği takas noktasıdır: bazı yakın‑vadeli erişim ve geliri, harcamanın gerçekten işe yarayıp yaramadığını güvenilir bir yanıtla değiştirmek. Örneklem büyüklüğü de önemlidir. Holdout, iki grupta da istatistiksel olarak anlamlı bir farkı tespit edecek kadar hacme ihtiyaç duyar; düşük trafikli bir kanal ya da kısa bir kampanya genellikle sadece gürültü üretir.

Sonucu doğru yorumlamak#

Null bir sonuç, maruz kalan ve holdout grupları arasında anlamlı bir fark olmadığını gösterir; bu gerçek bir bulgudur, başarısız bir test değildir. Bu, kanalın en azından o izleyici ve o dönem için, zaten gerçekleşecek olanın ötesinde artı değer katmadığını gösterir. Güçlü raporlanan sayılarla bir kanalı ölçeklendirmeden önce, aynı dikeydeki rakiplerinizin de yoğun ad spend harcayıp harcamadığını kontrol edin; çünkü uzun süreli yaratıcılarla dolu bir kanal (bkz. ad longevity) holdout testlerinin gerçek artışı doğrulama eğiliminde olduğu bir göstergedir. OpenAdLibrary'nin ad intelligence platformu, ağ ve dikey bazında bu aktiviteyi test bütçenizi ayırmadan önce kontrol etmenizi sağlar.