Pengujian Incrementality: Definisi & Cara Kerjanya

Pengujian incrementality adalah eksperimen terkontrol yang memperkirakan seberapa besar aktivitas konversi yang dilaporkan untuk suatu saluran iklan benar-benar disebabkan oleh iklan tersebut, bukan mengandalkan konversi yang diatribusikan oleh pelacakan platform ke iklannya. Anda menahan sekelompok pengguna atau wilayah geografis dari melihat iklan saluran tertentu, kemudian membandingkan hasilnya dengan kelompok yang melihat iklan tersebut. Tes yang dirancang dengan baik membaca selisih antara kedua kelompok sebagai perkiraan efek incremental saluran tersebut untuk audiens, periode, dan pengaturan itu, yang dilaporkan bersama ketidakpastiannya; hasil yang tersisa di grup holdout adalah hasil yang terjadi tanpa iklan.

Mengapa angka yang dilaporkan platform dapat berbeda dari hasil incremental#

Platform iklan mengatribusikan konversi ke iklan menggunakan aturan mereka sendiri. Jika seseorang sudah akan membeli melalui pencarian organik atau klik pencarian bermerek, dan juga kebetulan melihat iklan retargeting di sepanjang jalan, pelacakan konversi standar masih dapat memberikan kredit kepada iklan tersebut dalam jendela atribusi. Kredit yang lebih lunak, di mana platform menghitung konversi setelah seseorang sekadar melihat iklan, menambah selisih tersebut; mekanisme ini disebut view-through attribution. Karena itu, konversi yang dilaporkan platform bukanlah hal yang sama dengan konversi yang disebabkan oleh iklannya. Pengujian incrementality mengajukan pertanyaan yang berbeda: jika saluran ini tidak beriklan, apakah konversi tetap akan terjadi?

Itu pertanyaan yang berbeda dari pertanyaan yang dijawab pixel pelacakan sendiri, sehingga pengujian incrementality digunakan bersamaan dengan dasbor platform, bukan menggantikannya.

Bagaimana tim menjalankannya dalam praktik#

Beberapa desain digunakan. Pengujian tingkat geo menetapkan wilayah ke kondisi tes atau holdout, misalnya dengan menjalankan iklan suatu saluran di sebagian wilayah dan menahannya di wilayah lain, lalu membandingkan hasil seperti penjualan atau konversi antar wilayah; eksperimen geo Google secara acak menetapkan wilayah yang tidak tumpang tindih, sementara GeoLift milik Meta membangun kontrol sintetis dari wilayah yang tidak diberi perlakuan. Pengujian tingkat pengguna menggunakan alat lift konversi platform iklan: Conversion Lift milik Meta secara acak menetapkan orang ke grup tes yang melihat iklan dan grup kontrol yang tidak melihatnya, dan Google Ads Conversion Lift menawarkan studi berbasis pengguna dan berbasis geografi, meskipun Google menyatakan layanan ini tidak tersedia untuk semua akun.

Bagaimana efek diperkirakan bergantung pada desainnya. Dalam tes tingkat pengguna yang diacak, perkiraannya adalah selisih hasil antara grup tes dan grup holdout, yang dapat dilaporkan sebagai konversi tambahan atau sebagai persentase di atas holdout. Sebagai contoh hipotetis, jika 10,000 pengguna tes menghasilkan 300 konversi dan 10,000 pengguna holdout menghasilkan 250, perkiraan lift-nya adalah 50 konversi, atau 20% di atas holdout, bahkan jika platform mengatribusikan seluruh 300 konversi ke iklannya. Tes geo biasanya tidak mengandalkan pengurangan sederhana itu: mereka membandingkan wilayah yang diberi perlakuan dengan apa yang menurut sebuah model, seperti kontrol sintetis yang dibangun dari wilayah yang tidak diberi perlakuan, akan dihasilkan tanpa iklan. Saluran dengan ROAS yang tinggi menurut laporan platform dapat menunjukkan efek incremental yang jauh lebih kecil dalam sebuah tes; seberapa besar selisihnya bergantung pada saluran, audiens, dan jendela pengukuran.

Apa kegunaannya#

Pembeli media menggunakan pengujian incrementality untuk menginformasikan alokasi anggaran antar jaringan, bukan sekadar mengaudit satu saluran secara terpisah. Sebuah hasil menggambarkan audiens, periode, dan tingkat belanja yang diuji.

Arsip iklan publik tidak dapat mengukur incrementality. Iklan yang terlihat dalam waktu lama tidak menunjukkan bahwa iklan tersebut menyebabkan konversi tambahan, karena ad longevity mencatat berapa lama sebuah iklan terlihat, bukan belanja atau hasilnya. Yang dapat ditawarkan arsip tersebut adalah hipotesis: halaman ad intelligence OpenAdLibrary menunjukkan kreatif dan jaringan apa yang telah teramati digunakan oleh seorang pengiklan, dan selama berapa lama, yang dapat membantu Anda memutuskan apa yang akan diuji dengan holdout Anda sendiri sebelum Anda mengalokasikan ad spend untuk pengujian.

Kesalahan umum#

Grup holdout harus cukup besar, dan ditetapkan secara acak atau dicocokkan dengan cukup cermat, untuk mendeteksi sinyal nyata dan bukan sekadar kebisingan. Tes singkat pada saluran bervolume rendah mungkin tidak memiliki cukup konversi untuk mendeteksi efek, dan dokumentasi GeoLift milik Meta memperingatkan bahwa menjalankan tes geo tanpa analisis power sebelumnya menyebabkan peluang tinggi gagal menemukan lift bahkan ketika lift tersebut ada. Lonjakan musiman atau promosi situs secara menyeluruh tidak dengan sendirinya membatalkan tes yang diacak, karena kedua grup mengalaminya, tetapi lift yang terukur kemudian menggambarkan periode tersebut dan mungkin tidak berlaku pada minggu-minggu normal. Peristiwa yang hanya menjangkau satu grup, seperti promosi regional dalam tes geo, dapat membuat hasilnya bias, jadi jaga agar pemasaran lain tetap konstan di seluruh wilayah tes dan kontrol. Jalankan tes selama periode representatif yang mencakup setidaknya satu siklus pembelian, ukuran holdout dengan perhitungan power, dan jangan menghentikan tes terlalu cepat hanya karena angka interim terlihat baik, atau buruk.