Quanto Tempo Executar Testes A/B de Anúncios: Matemática de Tamanho de Amostra Tornada Prática
A duração de teste A/B é aritmética, não folclore: a amostra necessária dividida pelas observações diárias esperadas. A matemática de tamanho de amostra tornada utilizável, mais atraso de conversão, regras de interrupção, e por que nenhum limite inferior ou superior de calendário serve para todo teste.

Planeje a duração a partir da unidade experimental, da taxa base, do efeito que vale a pena detectar, da tolerância a erro, da alocação e das observações esperadas por dia. Considere também o atraso de conversão e os ciclos relevantes. Não existe um limite universal de contagem de conversões ou de calendário que torne todo teste de anúncio conclusivo.
A duração é um resultado, não uma escolha de calendário#
As observações esperadas por variante afetam o tempo necessário para alcançar uma amostra planejada. Contagens de conversões sozinhas não definem a amostra necessária: especifique a taxa base, o tamanho do efeito, o desenho e as premissas de incerteza.
- A taxa base da métrica que você está testando — CTR para criativos, conversion rate para landing pages e ofertas.
- A menor diferença que vale a pena detectar. Detectar um aumento de 10% custa muito mais tráfego que detectar um aumento de 50%, e a maioria dos pequenos aumentos não compensa o gasto necessário para observá‑los.
- Volume diário por variante — definido pelo seu orçamento e lances.
Estime as observações necessárias sob o desenho escolhido e divida pelas observações esperadas por variante por dia. Verifique se a janela resultante continua relevante; uma duração de quatro semanas não é um limiar automático de invalidade.
A matemática de tamanho de amostra, sem o grau de estatística#
Uma aproximação grosseira de planejamento para duas proporções independentes usa alocação igual, horizonte fixo, nível de significância bilateral de 5% e 80% de poder:
n por variante ≈ 16 × p × (1 − p) ÷ d²
Aqui, p é a taxa base de evento assumida e d é uma diferença absoluta de taxa. O resultado conta observações por variante, como impressões ou visitas elegíveis, não conversões. A aproximação precisa ser verificada para desfechos raros, alocação desigual, usuários repetidos, agrupamento e outros desvios do desenho.
Cálculos hipotéticos: p=0.005 e d=0.001 produzem cerca de 79,600 impressões por variante. p=0.02 e d=0.005 produzem cerca de 12,544 visitas elegíveis por variante. Se cada visita dessas custa US$0.40, dois braços custam cerca de US$10,035 em mídia antes de outros custos. Estes são cenários de planejamento, não benchmarks do setor nem promessas de significância.
| O que você está testando | Base | Aumento a detectar | Amostra por variante |
|---|---|---|---|
| CTR (criativo) | 0,5% | 20% relativo | ~80.000 impressões |
| CTR (criativo) | 0,5% | 50% relativo | ~13.000 impressões |
| CVR (landing) | 2% | 25% relativo | ~12.500 cliques |
| CVR (landing) | 2% | 50% relativo | ~3.100 cliques |
| CVR (página de oferta) | 5% | 25% relativo | ~4.900 cliques |
Sob essa aproximação, reduzir d à metade quadruplica a amostra planejada. CTR e conversão respondem a perguntas diferentes: uma melhoria de CTR não precisa melhorar a contribuição nem o custo de aquisição. Escolha métricas e salvaguardas em torno da decisão, em vez de assumir que testar em nível de impressão é sempre mais barato ou suficiente.
Considere ciclos relevantes e atraso de conversão#
Escolha uma janela que represente o tráfego relevante e permita que desfechos atrasados amadureçam. Padrões semanais podem importar, mas sete dias não é um mínimo universal nem prova de que o desenho é representativo.
O limite superior: testes longos apodrecem por dentro#
Janelas mais longas podem introduzir condições em mudança, mas um teste não deixa automaticamente de ser controlado após três ou quatro semanas. Avalie randomização, exposição simultânea, deriva, desfechos atrasados e relevância prática; revise o desenho se necessário.
Não espreite — ou pelo menos não aja sobre espreitadas#
Verificar repetidamente um teste de horizonte fixo e parar no primeiro resultado de significância favorável pode alterar sua taxa de erro. Pré-especifique o desenho e a análise, ou use um método sequencial apropriado. Condições operacionais de parada são distintas de uma declaração estatística de sucesso.
Regras de interrupção para quando você não pode pagar pela significância#
A maioria dos compradores nativos e afiliados não pode financiar 12.500 cliques por variante, e fingir o contrário gera rigor falso. A alternativa honesta é a eliminação em etapas — mais crua que teste de significância, e prática padrão entre compradores que testam dezenas de criativos por mês:
Uma regra financeira de parada pode limitar a exposição, mas não estabelece significância estatística. Se você fizer triagem de variantes antes de um teste confirmatório, considere a seleção e as comparações múltiplas e use evidências novas e adequadamente desenhadas para a decisão final. Uma regra de 2–3× o CPA ou algumas milhares de impressões não é validação universal.
Use observações de concorrentes para formar hipóteses#
Capturas de concorrentes podem sugerir hipóteses criativas. Um intervalo de observação de 30 dias não estabelece que um concorrente passou por um teste de lucratividade, e selecionar um ângulo familiar não reduz a amostra necessária para o desenho estatístico escolhido.
Um exemplo trabalhado, do início ao fim#
Suponha que você rode uma oferta de geração de leads com payout de $60 e uma campanha que gera aproximadamente 1.500 cliques por dia nas suas células de teste.
Em um teste hipotético de alocação igual com p=0.03 e d=0.009, a aproximação produz cerca de 5,748 visitas elegíveis por braço. A 1,500 visitas elegíveis totais por dia, coletar os dois braços leva cerca de 7.7 dias antes de contabilizar atraso, ciclos ou outros requisitos de desenho. Uma etapa de triagem anterior não garante um vencedor defensável após 10–12 dias.
Uma duração planejada combina requisitos de amostra com o tráfego elegível esperado e o momento dos desfechos. Não é uma garantia de que o experimento produzirá um vencedor estatística ou comercialmente decisivo.







