Тестування інкрементальності: визначення та принцип роботи

Тестування інкрементальності — це контрольований експеримент, який оцінює, яку частину конверсійної активності, звітованої для рекламного каналу, насправді спричинила реклама, а не покладається на конверсії, які відстеження платформи приписує своїм оголошенням. Ви утримуєте групу користувачів або географічних регіонів від перегляду оголошень конкретного каналу, а потім порівнюєте результат із групою, яка їх бачила. Добре спроєктований тест трактує різницю між групами як оцінку інкрементального ефекту каналу для цієї аудиторії, періоду та налаштування, подану разом із її невизначеністю; результати, що залишаються в контрольній групі, — це ті, що сталися без реклами.

Чому звітовані платформою цифри можуть відрізнятися від інкрементальних результатів#

Рекламні платформи приписують конверсії оголошенням за власними правилами. Якщо хтось уже збирався купити через органічний пошук або клік за брендовим запитом, і також трапилося, що побачив ретаргетингове оголошення по дорозі, стандартне відстеження конверсій все одно може зарахувати цю конверсію оголошенню в межах свого вікна атрибуції. М'якше зарахування, коли платформа рахує конверсію після того, як хтось лише побачив оголошення, збільшує цю розбіжність; цей механізм називається атрибуцією за переглядом. Тому конверсії, які звітує платформа, — це не те саме, що конверсії, які спричинили її оголошення. Тестування інкрементальності ставить інше питання: якби цей канал не рекламувався, чи конверсія все одно б відбулася?

Це інше питання, ніж те, на яке відповідає лише відстежуючий піксель, тому тестування інкрементальності використовують поряд із платформними інформаційними панелями, а не замість них.

Як команди застосовують це на практиці#

Використовується кілька підходів. Тест на географічному рівні призначає регіони до тестової або контрольної умови, наприклад показуючи оголошення каналу в одних регіонах і не показуючи їх в інших, і порівнює між регіонами такі результати, як продажі чи конверсії; геоексперименти Google випадково призначають регіони, що не перетинаються, тоді як Meta GeoLift будує синтетичний контроль із неохоплених регіонів. Тест на рівні користувача використовує інструменти вимірювання ліфту конверсій рекламної платформи: Meta Conversion Lift випадково призначає людей до тестової групи, яка бачить оголошення, і контрольної групи, яка їх не бачить, а Google Ads Conversion Lift пропонує дослідження на основі користувачів і на основі географії, хоча, за словами Google, він доступний не для всіх акаунтів.

Те, як оцінюється ефект, залежить від дизайну тесту. У рандомізованому тесті на рівні користувача оцінка — це різниця в результатах між тестовою та контрольною групами, яку можна подати як додаткові конверсії або як відсоток перевищення над контрольною групою. Як гіпотетичний приклад: якщо 10 000 тестових користувачів дають 300 конверсій, а 10 000 користувачів контрольної групи — 250, оцінений ліфт становить 50 конверсій, або 20% над контрольною групою, навіть якщо платформа приписала всі 300 конверсій своїм оголошенням. Геотести зазвичай не покладаються на це просте віднімання: вони порівнюють регіони, де реклама показувалася, з тим, що, за оцінкою моделі, наприклад синтетичного контролю, побудованого з неохоплених регіонів, вони дали б без реклами. Канал із високим звітованим платформою ROAS може показати в тесті значно менший інкрементальний ефект; наскільки великою є ця різниця, залежить від каналу, аудиторії та вікна вимірювання.

Для чого це використовується#

Медіабаєри використовують тести інкрементальності, щоб обґрунтовувати розподіл бюджету між мережами, а не лише для аудиту одного каналу ізольовано. Результат описує аудиторію, період і рівень витрат, які тестувалися.

Публічні рекламні архіви не можуть вимірювати інкрементальність. Оголошення, яке спостерігалося довго, не доводить, що воно спричинило додаткові конверсії, адже термін життя оголошення фіксує, як довго оголошення було видно, а не витрати чи результати. Що архіви можуть дати — це гіпотези: сторінки розвідки оголошень OpenAdLibrary показують, які креативи та мережі рекламодавець, за спостереженнями, використовував і як довго, що може допомогти вам вирішити, що тестувати з власною контрольною групою, перш ніж витрачати тестові рекламні витрати.

Поширені помилки#

Контрольна група має бути достатньо великою і призначеною випадково або досить ретельно зіставленою, щоб виявити справжній сигнал, а не просто шум. Короткий тест на каналі з низьким обсягом може не мати достатньої кількості конверсій, щоб виявити ефект, а документація Meta GeoLift попереджає, що проведення геотесту без попереднього аналізу потужності призводить до високої ймовірності не виявити ліфт, навіть коли він існує. Сезонний сплеск або загальносайтова акція самі по собі не роблять рандомізований тест недійсним, оскільки обидві групи їх переживають, але виміряний ліфт тоді описує саме цей період і може не зберігатися у звичайні тижні. Подія, що торкається лише однієї групи, наприклад регіональна акція в геотесті, може змістити результат, тому тримайте інший маркетинг незмінним у тестових і контрольних регіонах. Проводьте тест у репрезентативний період, який охоплює щонайменше один цикл покупки, розраховуйте розмір контрольної групи з урахуванням потужності тесту та не зупиняйтеся рано лише тому, що проміжний результат виглядає гарним або поганим.