Uji Holdout (Periklanan): Definisi & Penggunaan

Uji holdout adalah desain eksperimen yang menahan iklan atau perlakuan pemasaran dari sebagian audiens Anda, yaitu kelompok holdout, sementara audiens lainnya tetap menerimanya, lalu membandingkan hasil antara kedua kelompok untuk mengukur efek nyata dari perlakuan tersebut. Ini adalah istilah umum untuk keluarga eksperimen pengukuran kausal yang lebih luas yang digunakan dalam periklanan, mencakup segala hal mulai dari jeda regional penuh hingga uji batas frekuensi yang sempit.

Mekanisme dasar#

Bagi audiens Anda menjadi dua kelompok yang sedapat mungkin serupa dalam karakteristik yang memprediksi metrik hasil Anda: perilaku pembelian sebelumnya, wilayah, jenis perangkat, apa pun yang penting bagi bisnis Anda. Satu kelompok, yaitu kelompok holdout, tidak melihat iklan (atau melihat pesan layanan publik sebagai gantinya); kelompok lain melihat kampanye seperti biasa. Setelah periode tertentu, bandingkan tingkat konversi, pendapatan, atau metrik apa pun yang Anda uji antara kedua kelompok. Perbedaannya, yang disesuaikan dengan kesenjangan dasar antara kelompok, adalah efek inkremental dari perlakuan tersebut.

Mengapa platform membangun fitur ini#

Sebagian besar platform iklan utama dengan platform sisi permintaan layanan mandiri kini menawarkan beberapa bentuk pengujian kenaikan konversi atau holdout bawaan, karena pengiklan terus mengajukan pertanyaan yang sama yang tidak dapat dijawab dengan jujur oleh dasbor pelacakan konversi mereka sendiri: apakah konversi ini akan terjadi pula? Dasbor yang menunjukkan angka ROAS yang kuat melaporkan konversi yang terkait, belum tentu yang disebabkan, dan hanya holdout asli yang memisahkan keduanya.

Di mana uji holdout digunakan di seluruh corong#

Holdout saluran penuh menghentikan seluruh jaringan atau saluran untuk subset pengguna atau wilayah, yaitu desain di balik uji kenaikan regional. Holdout tingkat kampanye menghentikan satu kampanye tertentu sementara kampanye lain berlanjut, mengisolasi efek kampanye tersebut dari dasar saluran. Holdout frekuensi membatasi berapa kali pengguna melihat iklan, lalu membandingkan hasil dengan kelompok tanpa batas, berguna untuk mengukur kelelahan kreatif dan hasil yang semakin berkurang.

Kendala praktis#

Menjalankan uji holdout berarti dengan sengaja tidak menampilkan iklan kepada beberapa pelanggan nyata yang dapat dijangkau selama durasi pengujian, yang memiliki biaya jangka pendek yang nyata. Itulah trade-off yang diterima oleh setiap tim yang berorientasi pada inkrementalitas: mengorbankan sebagian jangkauan dan pendapatan jangka pendek demi mendapatkan jawaban yang dapat dipercaya tentang apakah pengeluaran tersebut benar-benar berfungsi. Ukuran sampel juga penting. Holdout membutuhkan volume yang cukup di kedua kelompok untuk mendeteksi perbedaan yang signifikan secara statistik; menguji saluran dengan lalu lintas rendah atau kampanye pendek seringkali hanya menghasilkan noise yang dibalut sebagai hasil.

Membaca hasil dengan benar#

Hasil nol, yaitu tidak ada perbedaan yang berarti antara kelompok yang terpapar dan kelompok holdout, adalah temuan nyata, bukan pengujian yang gagal. Ini berarti saluran tersebut, setidaknya untuk audiens dan periode itu, tidak menambah nilai inkremental di luar apa yang akan terjadi pula. Sebelum meningkatkan skala saluran berdasarkan angka yang dilaporkan kuat, periksa apakah pesaing di vertikal Anda juga menjalankan pengeluaran iklan yang besar di sana, karena saluran yang penuh dengan kreatif yang sudah berjalan lama, lihat umur panjang iklan, adalah proksi yang wajar untuk saluran di mana uji holdout cenderung mengonfirmasi kenaikan nyata. Platform intelijen iklan OpenAdLibrary memungkinkan Anda memeriksa aktivitas tersebut berdasarkan jaringan dan vertikal sebelum Anda mengalokasikan anggaran pengujian.