Geo Lift Test: визначення та методика проведення

Geo lift test — це експеримент з інкрементальності, який полягає в увімкненні рекламного каналу в одних географічних регіонах та вимкненні (або зниженні рівня) в узгоджених контрольних регіонах, а потім порівнянні різниці в конверсіях або продажах між двома групами, щоб виміряти реальний, причинно-наслідковий вплив каналу. Це найпоширеніший спосіб тестування інкрементального ліфту для каналу, де неможливо чітко рандомізувати на рівні окремого користувача.

Як розробляється тест#

Ви починаєте з поділу цільових регіонів, штатів, DMA або країн (залежно від масштабу) на тестову групу та контрольну групу, узгоджені якомога ближче за такими характеристиками, як населення, історичний обсяг продажів, минула реакція на геотаргетинг та сезонність. Тестова група отримує рекламні витрати; контрольна група — ні, або отримує фіксований базовий рівень, тоді як тестова група отримує підвищення. Після запуску на встановлений період, зазвичай від 4 до 8 тижнів залежно від циклу продажів, ви порівнюєте відсоткову зміну цільового показника між двома групами. Різниця, скоригована на будь-яку попередню відмінність між регіонами, є вашою оцінкою ліфту.

Чому на рівні гео, а не на рівні користувача#

Геотести уникають необхідності ідентифікатора на рівні окремої особи, оскільки ви порівнюєте сукупні результати для цілого регіону, а не відстежуєте шлях будь-якої однієї людини. Це робить геотести корисними для каналів, де індивідуальне відстеження ненадійне, а також для каналів, як-от віджети нативної реклами, які з'являються на багатьох не пов'язаних між собою сайтах видавців, де відстеження на рівні сесії стає безладним. Це також стандартний метод вимірювання каналів, які не можна вимкнути для одного користувача, не впливаючи на всіх навколо, як-от телебачення, радіо та деякі програмні закупівлі через demand-side platform.

Що може піти не так#

Погано узгоджені контрольні регіони — найпоширеніша причина невдачі. Якщо ваш тестовий регіон має іншу сезонність, іншу присутність конкурентів або іншу базову тенденцію зростання, ніж ваш контрольний регіон, «ліфт», який ви вимірюєте, може бути лише регіональним шумом, а не ефектом вашого рекламного каналу. Тести також потребують достатнього базового обсягу конверсій у кожному регіоні, щоб виявити реальний сигнал; тест, що проводиться на ринку з кількома продажами на тиждень, буде важко показати статистичну значущість, незалежно від того, як довго ви його проводите. Проведення геотесту під час загальної акції компанії або великого сезонного сплеску, як-от період Black Friday, забруднює результати для обох груп однаково.

Як це пов'язано з іншими методами вимірювання ліфту#

М'який супутній метод вимірювання стосується змін у усвідомленні або прихильності через опитування, а не конкретного числа конверсій, і зазвичай проводиться на рівні імпресій, а не на георівні. Статистичні моделі, побудовані на історичних даних рекламних витрат та відстеження конверсій, які постійно працюють одночасно для кожного каналу, можуть включати результати геотесту як калібрувальну точку, прив'язуючи модель до реального експериментального результату, а не покладаючись виключно на історичну кореляцію.

Перш ніж виділяти бюджет на багатотижневий геотест на нативній рекламній мережі, варто перевірити, скільки креативів та як довго вони зазвичай працюють (див. довговічність реклами) уже активні у ваших цільових регіонах. Інструменти ad intelligence OpenAdLibrary деталізують активність мережі за географією, що допомагає сформувати реалістичні очікування щодо того, скільки ліфту може фактично дати певний ринок.