Тестування інкрементальності: визначення та принцип роботи

Тестування інкрементальності — це контрольований експеримент, який вимірює, скільки зі звітних конверсій справді викликав рекламний канал, а не скільки конверсій піксель платформи просто приписує собі. Ви утримуєте групу користувачів або географічних регіонів від перегляду оголошень конкретного каналу, а потім порівнюєте результат із групою, яка їх бачила. Будь-яка різниця, що залишилася між цими двома групами, є реальним, інкрементальним внеском каналу. Все інше — це конверсії, які б відбулися в будь-якому разі.

Чому дані, що звітуються платформою, завищують результати#

Кожна рекламна мережа хоче отримати заслугу за продаж. Якщо хтось уже збирався купити через органічний пошук або клік за брендовим запитом, і також трапилося, що побачив ретаргетингове оголошення по дорозі, стандартне відстеження конверсій все одно може приписати цей успіх оголошенню в межах свого вікна атрибуції. Навіть м'які кредити, коли платформа зараховує конверсію після того, як хтось лише побачив оголошення, посилюють проблему; цей механізм називається атрибуцією за переглядом. Тестування інкрементальності усуває цей шум, ставлячи більш прямолінійне питання: якби цей канал витратив нуль доларів цього місяця, чи конверсія все одно б відбулася?

Це інше питання, ніж те, на яке відповідає лише відстежуючий піксель. Саме тому команди, які витрачають шестизначні суми щомісяця на нативну або соціальну рекламу, з часом будують програму інкрементального тестування поряд зі своїми платформними інформаційними панелями, а не замість них.

Як команди застосовують це на практиці#

Два підходи покривають більшість реальних випадків. Тест на географічному рівні повністю зупиняє канал у наборі зіставлених регіонів і порівнює конверсійну ефективність із регіонами, де витрати продовжувалися. Тест на рівні користувача використовує вбудовані інструменти платформи для вимірювання ліфту конверсій, які нативно пропонуються кількома DSP, щоб не показувати оголошення випадковій частині аудиторії.

У будь-якому випадку математика однакова: інкрементальний ліфт дорівнює рівню конверсії тестової групи мінус рівень конверсії контрольної групи. Канал, який демонструє високий самозвітний ROAS у межах платформи, може показати близький до нуля інкрементальний ліфт, як тільки чиста контрольна група виключає користувачів, які б конвертували в будь-якому разі.

Для чого це використовується#

Медіабаєри проводять тести інкрементальності, щоб вирішити, як розподіляти бюджет між мережами, а не лише для аудиту одного каналу ізольовано. Патерн, який ми спостерігаємо в індексі: бренди, які запускають той самий креативний підхід одночасно в кількох мережах, часто припускають, що всі вони працюють, тоді як тест на ліфт показує, що один канал в основному перехоплює попит, який вже створив інший.

Перед запуском формального тесту більшість команд спочатку спостерігають, що саме масштабують їхні конкуренти в ніші, оскільки канал, переповнений оголошеннями з довгим терміном життя, є непоганим проксі того, де інкрементальний бюджет, як правило, працює. Інструменти розвідки оголошень OpenAdLibrary дозволяють перевірити перекриття креативів і тривалість запусків у різних мережах, перш ніж ви виділите рекламний бюджет на контрольну групу.

Поширені помилки#

Контрольна група має бути достатньо великою та дійсно випадковою, щоб виявити справжній сигнал, а не просто шум. Однотижневий тест на каналі з низькою інтенсивністю трафіку зазвичай не може досягти статистичної значущості. Команди також часто проводять тест під час сезонного сплеску або загальносайтової акції, що забруднює обидві групи однаково і робить цифру ліфту беззмістовною. Проводьте тест у репрезентативний період, розраховуйте розмір контрольної групи з урахуванням потужності тесту та не зупиняйтеся рано лише тому, що проміжний результат виглядає гарним або поганим.