Teste de Geo Lift: Definição e Como É Executado

Um teste de geo lift é um experimento de incrementalidade que ativa um canal de anúncios em algumas regiões geográficas e o desativa, ou reduz, em regiões de controle correspondentes, então compara a diferença nas conversões ou vendas entre os dois grupos para medir o impacto real e causal do canal. É a forma mais comum de testar o lift incremental em um canal onde não é possível randomizar de forma limpa ao nível do usuário individual.

Como o teste é projetado#

Você começa dividindo suas regiões‑alvo, estados, DMAs ou países, dependendo da escala, em um grupo de teste e um grupo de controle o mais próximo possível em características como população, volume histórico de vendas, resposta anterior ao geo targeting, e sazonalidade. O grupo de teste recebe o investimento em anúncios; o grupo de controle não recebe, ou recebe um baseline fixo enquanto o grupo de teste recebe um aumento. Após rodar por um período definido, geralmente de 4 a 8 semanas dependendo do ciclo de vendas, você compara a variação percentual na métrica de resultado entre os dois grupos. A diferença, ajustada por qualquer diferença pré‑existente entre as regiões, é o lift estimado.

Por que ao nível geo e não ao nível do usuário#

Os testes geo evitam a necessidade de um identificador individual, já que você compara resultados agregados de uma região inteira em vez de rastrear o caminho de uma pessoa. Isso torna os testes geo úteis para canais onde o rastreamento individual é pouco confiável, e para canais como widgets de native advertising que aparecem em muitos sites de publicadores diferentes, onde o rastreamento ao nível de sessão se torna confuso. Também é o método padrão para medir canais que não podem ser desligados para um único usuário sem afetar todos ao redor, como TV, rádio e algumas compras programáticas feitas através de uma demand-side platform.

O que pode dar errado#

Regiões de controle mal pareadas são a falha mais comum. Se sua região de teste tem sazonalidade diferente, presença concorrente distinta ou tendência de crescimento de base diferente da região de controle, o "lift" que você mede pode ser apenas ruído regional e não o efeito do seu canal de anúncios. Os testes também precisam de volume suficiente de conversões de base em cada região para detectar um sinal real; um teste em um mercado com poucas vendas semanais terá dificuldade em alcançar significância estatística, independentemente da duração. Executar um teste geo durante uma promoção geral da empresa ou um pico sazonal importante, como o período da Black Friday, contamina a leitura para ambos os grupos igualmente.

Como se relaciona com outras medições de lift#

Uma medição complementar mais suave pergunta sobre mudanças de reconhecimento ou favorabilidade por meio de pesquisas, em vez de um número de conversão direto, e geralmente roda ao nível de impressão em vez de ao nível geo. Modelos estatísticos construídos sobre dados históricos de ad spend e conversion tracking que rodam continuamente em todos os canais podem incorporar os resultados de um teste geo como ponto de calibração, ancorando o modelo a um resultado experimental real em vez de depender apenas de correlação histórica.

Antes de comprometer orçamento para um teste geo de várias semanas em uma ad network nativa, vale verificar quanto volume criativo, e por quanto tempo esse criativo costuma rodar, veja ad longevity, já está ativo em suas regiões‑alvo. As ferramentas de ad intelligence da OpenAdLibrary dividem a atividade da rede por geo, o que ajuda a definir expectativas realistas sobre quanto lift um determinado mercado pode realmente gerar.