Холдаут-тест (реклама): визначення та застосування

Холдаут-тест — це експериментальний дизайн, який виключає рекламу або маркетинговий вплив для частини вашої аудиторії (холдаут-групи), тоді як решта аудиторії продовжує його отримувати, а потім порівнює результати між двома групами, щоб виміряти реальний ефект впливу. Це загальний термін для ширшого сімейства експериментів із причинно-наслідковим вимірюванням, які використовуються в рекламі, охоплюючи все: від повної регіональної паузи до вузького тесту з обмеженням частоти.

Основна механіка#

Розділіть свою аудиторію на дві групи, які є максимально подібними за характеристиками, що передбачають ваш показник результату: минула купівельна поведінка, регіон, тип пристрою — все, що має значення для вашого бізнесу. Одна група (холдаут) не бачить реклами (або натомість бачить соціальне повідомлення); інша група бачить кампанію як зазвичай. Після закінчення визначеного періоду порівняйте коефіцієнт конверсії, дохід або інший показник, який ви тестуєте, між двома групами. Різниця, скоригована на будь-який базовий розрив між групами, є інкрементальним ефектом впливу.

Чому платформи вбудовують це#

Більшість основних рекламних платформ із self-serve платформою попиту (DSP) тепер пропонують певну форму вбудованого вимірювання приросту конверсій або холдаут-тестування, оскільки рекламодавці постійно ставили те саме запитання, на яке їхня власна панель відстеження конверсій не могла чесно відповісти: чи відбулися б ці конверсії в будь-якому разі? Панель, яка показує сильний показник ROAS, повідомляє про асоційовані конверсії, а не обов'язково зумовлені, і лише справжній холдаут відокремлює одне від одного.

Де використовуються холдаут-тести на різних етапах воронки#

Повноканальний холдаут призупиняє цілу мережу або канал для підмножини користувачів чи регіонів — це дизайн регіонального тесту приросту. Холдаут на рівні кампанії призупиняє одну конкретну кампанію, продовжуючи інші, ізолюючи ефект цієї кампанії від базового рівня каналу. Частотний холдаут обмежує кількість показів реклами користувачеві, а потім порівнює результати з групою без обмежень, що корисно для вимірювання креативної втоми та спадної віддачі.

Практичні обмеження#

Проведення холдаут-тесту означає свідоме ненадання реклами деяким реальним, доступним клієнтам протягом тривалості тесту, що має реальну короткострокову вартість. Це компроміс, який приймає кожна орієнтована на інкрементальність команда: відмовитися від певного короткострокового охоплення та доходу в обмін на надійну відповідь про те, чи насправді працюють витрати. Розмір вибірки теж має значення. Холдауту потрібен достатній обсяг в обох групах, щоб виявити статистично значущу різницю; тестування низькотрафікового каналу або короткої кампанії часто дає лише шум, замаскований під результат.

Як правильно інтерпретувати результат#

Нульовий результат — відсутність значущої різниці між групою, яка бачила рекламу, і холдаут-групою — це справжній висновок, а не невдалий тест. Він означає, що канал, принаймні для цієї аудиторії та цього періоду, не додавав інкрементальної цінності понад те, що відбулося б у будь-якому разі. Перш ніж масштабувати канал на основі сильних звітних показників, перевірте, чи конкуренти у вашій вертикалі також інтенсивно витрачають рекламні бюджети на ньому, оскільки канал, переповнений довготривалими креативами (див. тривалість реклами), є розумним проксі для того, де холдаут-тести зазвичай підтверджують реальний приріст. Платформа рекламної розвідки OpenAdLibrary дозволяє перевірити цю активність по мережах та вертикалях, перш ніж виділяти бюджет на тест.