Тестирование инкрементальности: определение и как это работает

Тестирование инкрементальности — это контролируемый эксперимент, который оценивает, какую часть заявленной для рекламного канала активности по конверсиям действительно вызвало рекламирование, а не полагается на конверсии, которые отслеживание платформы приписывает своим объявлениям. Вы удерживаете группу пользователей или географий от просмотра объявлений конкретного канала, а затем сравниваете результат с группой, которая их видела. Хорошо спроектированный тест интерпретирует разрыв между группами как оценку инкрементального эффекта канала для этой аудитории, периода и конфигурации, сообщаемую вместе с её неопределённостью; результаты, которые остаются в контрольной группе, — это те, что произошли без объявлений.

Почему цифры, сообщаемые платформой, могут отличаться от инкрементальных результатов#

Рекламные платформы приписывают конверсии объявлениям по своим собственным правилам. Если пользователь уже собирался купить через органический поиск или клик по брендовому запросу, и при этом увидел ретаргетинговое объявление, стандартное отслеживание конверсий всё равно может присвоить этот кредит объявлению в рамках своего атрибуционного окна. Даже более мягкий кредит, когда платформа считает конверсию после того, как пользователь лишь увидел объявление, увеличивает разрыв; такой механизм называется атрибуцией по просмотру. Поэтому конверсии, которые сообщает платформа, — не то же самое, что конверсии, которые вызвали её объявления. Тестирование инкрементальности задаёт другой вопрос: если бы этот канал не рекламировался, произошла бы конверсия всё равно?

Это иной вопрос, чем тот, на который отвечает пиксель отслеживания сам по себе, поэтому тестирование инкрементальности используется рядом с панелями платформ, а не вместо них.

Как команды реализуют это на практике#

Используется несколько схем. Тест на уровне географии относит регионы к тестовому или контрольному условию, например показывая объявления канала в одних регионах и удерживая их в других, и сравнивает такие результаты, как продажи или конверсии, между регионами; геоэксперименты Google случайным образом распределяют непересекающиеся регионы, а GeoLift от Meta строит синтетический контроль из регионов без воздействия. Тест на уровне пользователя использует инструмент измерения прироста конверсий рекламной платформы: Conversion Lift от Meta случайным образом распределяет людей в тестовую группу, которая видит объявления, и контрольную группу, которая их не видит, а Google Ads Conversion Lift предлагает исследования на уровне пользователей и на уровне географии, хотя, по словам Google, он доступен не для всех аккаунтов.

То, как оценивается эффект, зависит от схемы. В рандомизированном тесте на уровне пользователя оценка — это разница в результатах между тестовой и контрольной группами, которую можно представить как дополнительные конверсии или как процент относительно контрольной группы. В качестве гипотетического примера: если 10,000 тестовых пользователей дают 300 конверсий, а 10,000 пользователей контрольной группы — 250, оценка прироста составляет 50 конверсий, или 20% относительно контрольной группы, даже если платформа приписала своим объявлениям все 300 конверсий. Геотесты обычно не полагаются на такое простое вычитание: они сравнивают регионы с воздействием с тем, что, по оценке модели — например, синтетического контроля, построенного из регионов без воздействия, — они произвели бы без объявлений. Канал с высоким ROAS, сообщаемым платформой, может показать в тесте гораздо меньший инкрементальный эффект; насколько велик разрыв, зависит от канала, аудитории и окна измерения.

Для чего это используется#

Медиа‑байеры используют тесты инкрементальности, чтобы обосновывать распределение бюджета между сетями, а не только для аудита отдельного канала в изоляции. Результат описывает аудиторию, период и уровень расходов, которые тестировались.

Публичные архивы объявлений не могут измерять инкрементальность. То, что объявление наблюдалось долго, не показывает, что оно вызвало дополнительные конверсии, поскольку срок жизни объявлений фиксирует, как долго объявление было видно, а не расходы или результаты. Что архивы могут дать — это гипотезы: страницы интеллекта объявлений OpenAdLibrary показывают, какие креативы и сети наблюдались у рекламодателя и как долго, что может помочь решить, что тестировать с помощью собственной контрольной группы, прежде чем вы инвестируете тестовый расход на рекламу.

Распространённые ошибки#

Контрольная группа должна быть достаточно большой и назначена достаточно случайно или достаточно тщательно подобрана, чтобы обнаружить реальный сигнал, а не просто шум. Короткий тест на канале с низким объёмом может не набрать достаточно конверсий, чтобы обнаружить эффект, а документация Meta по GeoLift предупреждает, что проведение геотеста без предварительного расчёта мощности приводит к высокой вероятности не обнаружить прирост, даже когда он есть. Сезонный всплеск или широкомасштабная акция сами по себе не делают рандомизированный тест недействительным, поскольку обе группы их испытывают, но измеренный прирост тогда описывает именно этот период и может не сохраниться в обычные недели. Событие, которое затрагивает только одну группу, например региональная акция в геотесте, может исказить результат, поэтому сохраняйте прочий маркетинг неизменным в тестовых и контрольных регионах. Проводите тест в репрезентативный период, охватывающий как минимум один цикл покупки, рассчитывайте размер контрольной группы с помощью расчёта мощности и не останавливайте эксперимент преждевременно только потому, что промежуточный результат выглядит хорошим или плохим.