Тестирование инкрементальности: определение и как это работает

Тестирование инкрементальности — это контролируемый эксперимент, который измеряет, насколько из заявленных вами конверсий рекламный канал действительно их вызывает, а не сколько конверсий просто присваивает пиксель платформы. Вы удерживаете группу пользователей или географий от просмотра объявлений конкретного канала, а затем сравниваете результат с группой, которая их видела. Оставшийся разрыв между двумя группами представляет реальный, инкрементальный вклад канала. Всё остальное — это конверсии, которые бы произошли в любом случае.

Почему цифры, сообщаемые платформой, завышают результаты#

Каждая рекламная сеть хочет получить кредит за продажу. Если пользователь уже собирался купить через органический поиск или клик по брендовому запросу, и при этом увидел ретаргетинговое объявление, стандартное отслеживание конверсий всё равно может присвоить этот кредит объявлению в рамках своего атрибуционного окна. Даже более мягкий кредит, когда платформа считает конверсию после того, как пользователь лишь увидел объявление, усиливает проблему; такой механизм называется атрибуцией по просмотру. Тестирование инкрементальности устраняет этот шум, задавая более простой вопрос: если бы этот канал не потратил ни одного доллара в этом месяце, произошла бы конверсия всё равно?

Это иной вопрос, чем тот, на который отвечает пиксель отслеживания сам по себе, поэтому команды, управляющие шестизначными ежемесячными бюджетами на нативную или социальную рекламу, в конечном итоге создают программу инкрементальности рядом со своими панелями платформ, а не вместо них.

Как команды реализуют это на практике#

Два подхода покрывают большинство реальных случаев. Тест на уровне географии полностью отключает канал в наборе сопоставимых регионов и сравнивает коэффициент конверсии с регионами, где расходы продолжались. Тест на уровне пользователя использует встроенный в рекламную платформу инструмент измерения прироста конверсий, предлагаемый нативно несколькими платформами спроса, чтобы удержать объявления от случайно выбранной части аудитории.

В любом случае формула одинаковая: инкрементальный прирост = коэффициент конверсии тестовой группы минус коэффициент конверсии контрольной группы. Канал, показывающий высокий собственный ROAS в платформе, может показать почти нулевой инкрементальный прирост, когда чистая контрольная группа исключает пользователей, которые бы конвертировались независимо.

Для чего это используется#

Медиа‑байеры проводят тесты инкрементальности, чтобы решить, как распределять бюджет между сетями, а не только для аудита отдельного канала. Один из паттернов, который мы наблюдаем в индексе: бренды, запускающие одинаковый креатив одновременно в нескольких сетях, часто полагают, что все они работают одинаково, тогда как тест прироста показывает, что один канал в основном просто восстанавливает спрос, уже созданный другим.

Прежде чем проводить формальный тест, большинство команд начинают с наблюдения за тем, как конкуренты в их вертикали масштабируют кампании, поскольку канал, насыщенный длительным сроком жизни объявлений, служит хорошим индикатором того, где инкрементальный бюджет, как правило, работает. Инструменты интеллекта объявлений OpenAdLibrary позволяют проверить перекрытие креативов и длительность кампаний в разных сетях перед тем, как вы инвестируете тестовый расход на рекламу в контрольную группу.

Распространённые ошибки#

Контрольная группа должна быть достаточно большой и случайной, чтобы обнаружить реальный сигнал, а не просто шум. Тест длительностью в одну неделю на канале с низким объёмом обычно не достигает статистической значимости. Команды также часто проводят тест во время сезонного всплеска или широкомасштабной акции, что загрязняет обе группы одинаково и делает показатель прироста бессмысленным. Проводите тест в репрезентативный период, рассчитывайте размер контрольной группы с помощью корректного расчёта мощности и не останавливайте эксперимент преждевременно только потому, что промежуточный результат выглядит хорошим или плохим.