Тест гео‑подъёма: определение и проведение

Тест гео‑подъёма — это эксперимент по измерению инкрементальности, который включает рекламный канал в некоторых географических регионах и отключает его, или снижает уровень, в сопоставленных контрольных регионах, затем сравнивает разницу в конверсиях или продажах между двумя группами, чтобы измерить реальное причинное влияние канала. Это самый распространённый способ проверить инкрементальный подъём канала, когда невозможно чисто рандомизировать на уровне отдельного пользователя.

Как разрабатывается тест#

Вы начинаете с разделения целевых регионов, штатов, DMA или стран в зависимости от масштаба на тестовую и контрольную группы, максимально близко сопоставленные по таким характеристикам, как население, исторический объём продаж, прошлый отклик на geo targeting, и сезонность. Тестовая группа получает рекламные расходы; контрольная группа не получает их или получает фиксированный базовый уровень, пока тестовая группа получает увеличение. После проведения в течение установленного периода, обычно от 4 до 8 недель в зависимости от цикла продаж, вы сравниваете процентное изменение метрики результата между двумя группами. Разница, скорректированная с учётом любых предварительных различий между регионами, является вашей оценкой подъёма.

Почему измерять на уровне гео, а не пользователя#

Гео‑тесты позволяют обойтись без идентификатора на уровне отдельного пользователя, поскольку вы сравниваете агрегированные результаты для целого региона, а не отслеживаете путь конкретного человека. Это делает гео‑тесты полезными для каналов, где индивидуальное отслеживание ненадёжно, и для каналов, таких как native advertising‑виджеты, которые появляются на множестве несвязанных сайтов издателей, где отслеживание на уровне сессии становится проблематичным. Это также стандартный метод измерения каналов, которые нельзя отключить для отдельного пользователя без влияния на всех рядом, например TV, радио и некоторые программные закупки через demand-side platform.

Что может пойти не так#

Наиболее частой причиной провала являются плохо сопоставленные контрольные регионы. Если в тестовом регионе другая сезонность, иной уровень конкуренции или иной базовый темп роста, чем в контрольном, измеряемый «подъём» может оказаться лишь региональным шумом, а не эффектом рекламного канала. Тесты также требуют достаточного базового объёма конверсий в каждом регионе, чтобы обнаружить реальный сигнал; тест, проводимый в рынке с несколькими продажами в неделю, будет бороться за статистическую значимость независимо от длительности. Проведение гео‑теста во время масштабной акции компании или крупного сезонного всплеска, например в период Black Friday, загрязняет результаты обеих групп одинаково.

Как это соотносится с другими измерениями подъёма#

Более мягкое сопутствующее измерение задаёт вопросы об изменениях осведомлённости или благосклонности через опросы, а не о жёстком числе конверсий, и обычно проводится на уровне показов, а не гео. Статистические модели, построенные на исторических данных о ad spend и conversion tracking, работающие постоянно по всем каналам одновременно, могут включать результаты гео‑теста как калибровочную точку, привязывая модель к реальному экспериментальному результату, а не полагаясь исключительно на историческую корреляцию.

Прежде чем выделять бюджет на многонедельный гео‑тест в native ad network, стоит проверить, сколько креативного объёма и как долго этот креатив обычно работает, см. ad longevity, уже активен в целевых регионах. Инструменты ad intelligence OpenAdLibrary разбивают активность сети по гео, что помогает установить реалистичные ожидания относительно того, какой подъём может реально достичь конкретный рынок.