Teste de Incrementalidade: Definição e Como Funciona

O teste de incrementalidade é um experimento controlado que estima quanto da atividade de conversão reportada para um canal de anúncios a publicidade realmente causou, em vez de se basear nas conversões que o rastreamento da plataforma atribui aos seus anúncios. Você retém um grupo de usuários ou geografias de ver os anúncios de um canal específico, então compara o resultado com um grupo que os viu. Um teste bem elaborado lê a diferença entre os grupos como uma estimativa do efeito incremental do canal para aquela audiência, período e configuração, reportada com sua incerteza; os resultados que permanecem no grupo de controle são os que aconteceram sem os anúncios.

Por que os números relatados pela plataforma podem diferir dos resultados incrementais#

As plataformas de anúncios atribuem conversões a anúncios usando suas próprias regras. Se alguém já pretendia comprar por busca orgânica ou clique de busca de marca, e também viu um anúncio de retargeting ao longo do caminho, o rastreamento padrão de conversion tracking ainda pode atribuir esse crédito ao anúncio dentro da sua attribution window. Crédito mais suave, onde a plataforma conta uma conversão após alguém apenas ter visto um anúncio, aumenta a diferença; esse mecanismo é chamado de view-through attribution. As conversões que uma plataforma reporta, portanto, não são a mesma coisa que as conversões que seus anúncios causaram. O teste de incrementalidade faz uma pergunta diferente: se esse canal não tivesse anunciado, a conversão ainda teria acontecido?

Essa é uma pergunta diferente da que um pixel de rastreamento responde por si só, então o teste de incrementalidade é usado ao lado dos painéis de plataforma, não em substituição a eles.

Como as equipes o executam na prática#

Vários designs são usados. Um teste em nível geográfico atribui regiões a uma condição de teste ou de controle, por exemplo executando os anúncios de um canal em algumas regiões e retendo-os em outras, e compara resultados como vendas ou conversões entre as regiões; os experimentos geográficos do Google atribuem aleatoriamente regiões que não se sobrepõem, enquanto o GeoLift da Meta constrói um controle sintético a partir de regiões não tratadas. Um teste em nível de usuário usa a ferramenta de elevação de conversão de uma plataforma de anúncios: o Conversion Lift da Meta atribui aleatoriamente pessoas a um grupo de teste que vê os anúncios e a um grupo de controle que não os vê, e o Conversion Lift do Google Ads oferece estudos baseados em usuários e baseados em geografia, embora o Google diga que ele não está disponível para todas as contas.

Como o efeito é estimado depende do design. Em um teste randomizado em nível de usuário, a estimativa é a diferença de resultados entre o grupo de teste e o grupo de controle, que pode ser reportada como conversões extras ou como uma porcentagem sobre o grupo de controle. Como exemplo hipotético, se 10.000 usuários de teste geram 300 conversões e 10.000 usuários de controle geram 250, a elevação estimada é de 50 conversões, ou 20% sobre o grupo de controle, mesmo que a plataforma tenha atribuído todas as 300 conversões aos seus anúncios. Testes geográficos geralmente não dependem dessa subtração simples: eles comparam as regiões tratadas com o que um modelo, como um controle sintético construído a partir de regiões não tratadas, diz que elas teriam produzido sem os anúncios. Um canal com um forte ROAS auto-relatado pela plataforma pode mostrar um efeito incremental muito menor em um teste; o tamanho dessa diferença depende do canal, da audiência e da janela de medição.

Para que é usado#

Compradores de mídia usam testes de incrementalidade para embasar a alocação de orçamento entre redes, não apenas para auditar um canal isoladamente. Um resultado descreve a audiência, o período e o nível de gasto que foram testados.

Arquivos públicos de anúncios não conseguem medir incrementalidade. Um anúncio observado por muito tempo não mostra que ele causou conversões adicionais, porque a ad longevity registra por quanto tempo um anúncio foi visto, não o gasto ou os resultados. O que os arquivos podem oferecer são hipóteses: as páginas de ad intelligence da OpenAdLibrary mostram quais criativos e redes um anunciante foi observado usando, e por quanto tempo, o que pode ajudar você a decidir o que testar com seu próprio controle antes de comprometer o ad spend de teste.

Erros comuns#

O grupo de controle precisa ser grande o suficiente, e atribuído aleatoriamente ou pareado com cuidado suficiente, para detectar um sinal real e não apenas ruído. Um teste curto em um canal de baixo volume pode não ter conversões suficientes para detectar um efeito, e a documentação do GeoLift da Meta alerta que executar um teste geográfico sem uma análise de poder prévia leva a uma alta chance de não encontrar elevação mesmo quando ela existe. Um pico sazonal ou uma promoção em todo o site não invalida por si só um teste randomizado, porque os dois grupos passam por ele, mas a elevação medida então descreve esse período e pode não se manter em semanas normais. Um evento que atinge apenas um grupo, como uma promoção regional em um teste geográfico, pode enviesar o resultado, então mantenha o restante do marketing constante entre as regiões de teste e de controle. Execute o teste durante um período representativo que cubra pelo menos um ciclo de compra, dimensione o controle com um cálculo de poder e não interrompa cedo apenas porque o número intermediário parece bom, ou ruim.