Тест удержания (реклама): определение и применения

Тест удержания — это экспериментальный дизайн, который исключает рекламу или маркетинговое воздействие из части вашей аудитории, группы удержания, в то время как остальная часть аудитории продолжает его получать, затем сравнивает результаты между двумя группами, чтобы измерить реальный эффект воздействия. Это общий термин для более широкой семьи экспериментов по измерению причинно-следственной связи, используемых в рекламе, охватывающих всё от полного регионального паузы до узкого теста ограничения частоты.

Основные механики#

Разделите вашу аудиторию на две группы, максимально похожие по признакам, предсказывающим ваш метрик результата: прошлое покупательское поведение, регион, тип устройства, всё, что важно для вашего бизнеса. Одна группа, удержание, не видит реклам (или вместо неё получает публичное сообщение); другая группа видит кампанию как обычно. По истечении заданного периода сравните коэффициент конверсии, доход или любой другой метрик, который вы тестируете, между двумя группами. Разница, скорректированная на любой базовый разрыв между группами, представляет инкрементальный эффект воздействия.

Почему платформы внедряют это#

Большинство крупных рекламных платформ с самосервисным demand-side platform теперь предлагают некоторую форму встроенного измерения lift‑конверсий или тестов удержания, потому что рекламодатели постоянно задавали один и тот же вопрос, на который их собственная панель conversion tracking не могла честно ответить: происходили бы эти конверсии в любом случае? Панель, показывающая высокий показатель ROAS, сообщает о связанных конверсиях, а не обязательно о вызванных, и только настоящий тест удержания разделяет эти два понятия.

Где применяются тесты удержания в воронке#

Полно‑канальный удержание приостанавливает всю сеть или канал для подмножества пользователей или регионов, дизайн, лежащий в основе регионального lift‑теста. Удержание на уровне кампании приостанавливает одну конкретную кампанию, пока остальные продолжаются, изолируя эффект этой кампании от базового уровня канала. Удержание частоты ограничивает количество показов рекламы одному пользователю, затем сравнивает результаты с группой без ограничения, что полезно для измерения creative fatigue и убывающей отдачи.

Практические ограничения#

Запуск теста удержания означает намеренно не показывать рекламу некоторым реальным, адресуемым клиентам в течение тестового периода, что влечёт реальные краткосрочные затраты. Это компромисс, который принимает каждая команда, ориентированная на измерение инкрементальности: отказываются от части краткосрочного охвата и дохода в обмен на надёжный ответ о том, действительно ли расход работает. Размер выборки также важен. Удержание требует достаточного объёма в обеих группах, чтобы обнаружить статистически значимую разницу; тестирование канала с низким трафиком или короткой кампании часто приводит лишь к шуму, маскирующемуся под результат.

Как правильно интерпретировать результат#

Нулевой результат, отсутствие значимой разницы между группами, является реальным выводом, а не провалом теста. Это означает, что канал, по крайней мере для этой аудитории и периода, не добавлял инкрементальной ценности сверх того, что произошло бы в любом случае. Прежде чем масштабировать канал, основываясь на сильных заявленных цифрах, проверьте, не используют ли конкуренты в вашей отрасли также большие ad spend, поскольку канал, переполненный длительно работающим креативом (см. ad longevity), служит разумным индикатором того, где тесты удержания, как правило, подтверждают реальный lift. Платформа ad intelligence OpenAdLibrary позволяет проверить эту активность по сети и отрасли перед тем, как выделять бюджет на тест.