Cuánto tiempo ejecutar pruebas A/B de anuncios: matemáticas del tamaño muestral hechas prácticas
La duración de una prueba A/B es aritmética, no folclore: la muestra requerida dividida por las observaciones diarias esperadas. Las matemáticas del tamaño muestral hechas utilizables, más el retraso en la conversión, las reglas de parada y por qué ningún piso ni techo de calendario encaja con todas las pruebas.

Planifica la duración a partir de la unidad experimental, la tasa base, el efecto que vale la pena detectar, la tolerancia al error, la asignación y las observaciones esperadas por día. Ten en cuenta también el retraso en la conversión y los ciclos relevantes. No existe un umbral universal de recuento de conversiones ni de calendario que haga concluyente toda prueba de anuncios.
La duración es un resultado, no una elección de calendario#
Las observaciones esperadas por variante afectan al tiempo necesario para alcanzar una muestra planificada. Los recuentos de conversiones por sí solos no definen la muestra requerida: especifica la tasa base, el tamaño del efecto, el diseño y los supuestos de incertidumbre.
- La tasa base de la métrica que estás probando: CTR para creatividades, tasa de conversión para landers y ofertas.
- La diferencia más pequeña que vale la pena detectar. Detectar una mejora del 10% cuesta mucho más tráfico que detectar una del 50%, y la mayoría de las mejoras pequeñas no valen el gasto que se necesita para verlas.
- Volumen diario por variante, determinado por tu presupuesto y pujas.
Estima las observaciones requeridas bajo el diseño elegido y divide por las observaciones esperadas por variante y por día. Comprueba si la ventana resultante sigue siendo relevante; una duración de cuatro semanas no es un umbral de invalidez automático.
Las matemáticas del tamaño muestral, sin el título de estadística#
Una aproximación burda de planificación para dos proporciones independientes usa asignación equitativa, un horizonte fijo, un nivel de significancia bilateral del 5% y 80% de potencia:
n por variante ≈ 16 × p × (1 − p) ÷ d²
Aquí p es la tasa de eventos base asumida y d es una diferencia absoluta de tasas. El resultado cuenta observaciones por variante, como impresiones o visitas elegibles, no conversiones. La aproximación necesita comprobarse para resultados raros, asignación desigual, usuarios repetidos, agrupamiento y otras desviaciones del diseño.
Cálculos hipotéticos: p=0.005 y d=0.001 arrojan unas 79,600 impresiones por variante. p=0.02 y d=0.005 arrojan unas 12,544 visitas elegibles por variante. Si cada una de esas visitas cuesta US$0.40, dos brazos cuestan unos US$10,035 en medios antes de otros costes. Estos son escenarios de planificación, no puntos de referencia del sector ni promesas de significancia.
| Qué estás probando | Base | Mejora a detectar | Muestra por variante |
|---|---|---|---|
| CTR (creatividad) | 0.5% | 20% relativo | ~80,000 impresiones |
| CTR (creatividad) | 0.5% | 50% relativo | ~13,000 impresiones |
| CVR (lander) | 2% | 25% relativo | ~12,500 clics |
| CVR (lander) | 2% | 50% relativo | ~3,100 clics |
| CVR (página de oferta) | 5% | 25% relativo | ~4,900 clics |
Bajo esta aproximación, reducir d a la mitad cuadruplica la muestra planificada. El CTR y la conversión responden a preguntas diferentes: una mejora del CTR no tiene por qué mejorar la contribución ni el coste de adquisición. Elige métricas y salvaguardas en función de la decisión, en lugar de asumir que probar a nivel de impresión siempre es más barato o suficiente.
Ten en cuenta los ciclos relevantes y el retraso en la conversión#
Elige una ventana que represente el tráfico relevante y permita que los resultados retrasados maduren. Los patrones semanales pueden importar, pero siete días no son ni un mínimo universal ni una prueba de que el diseño sea representativo.
El techo: las pruebas largas se pudren por dentro#
Las ventanas más largas pueden introducir condiciones cambiantes, pero una prueba no deja automáticamente de estar controlada pasadas tres o cuatro semanas. Evalúa la aleatorización, la exposición concurrente, la deriva, los resultados retrasados y la relevancia práctica; revisa el diseño si es necesario.
No eches un vistazo, o al menos no actúes basándote en ellos#
Comprobar repetidamente una prueba de horizonte fijo y detenerse en el primer resultado de significancia favorable puede alterar su tasa de error. Preespecifica el diseño y el análisis, o usa un método secuencial apropiado. Las condiciones de parada operativas son distintas de una declaración de éxito estadístico.
Reglas de corte para cuando no puedes permitirte la significancia#
La mayoría de los compradores nativos y de afiliados no pueden financiar 12,500 clics por variante, y fingir lo contrario produce un rigor falso. La alternativa honesta es el descarte por etapas, más crudo que las pruebas de significancia y práctica estándar entre compradores que prueban docenas de creatividades al mes:
Una regla de parada financiera puede limitar la exposición, pero no establece significancia estadística. Si haces un cribado de variantes antes de una prueba confirmatoria, ten en cuenta la selección y las comparaciones múltiples y usa evidencia nueva y diseñada adecuadamente para la decisión final. Una regla de 2–3× el CPA o unos pocos miles de impresiones no son una validación universal.
Usa las observaciones de competidores para formular hipótesis#
Las capturas de competidores pueden sugerir hipótesis creativas. Un periodo de observación de 30 días no establece que un competidor haya superado una prueba de rentabilidad, y elegir un ángulo conocido no reduce la muestra necesaria para el diseño estadístico que elijas.
Un ejemplo trabajado, de principio a fin#
Supongamos que ejecutas una oferta de generación de leads con un pago de $60, con una campaña que genera aproximadamente 1,500 clics al día en tus celdas de prueba.
En una prueba hipotética de asignación equitativa con p=0.03 y d=0.009, la aproximación arroja unas 5,748 visitas elegibles por brazo. A 1,500 visitas elegibles totales por día, recoger ambos brazos lleva unos 7.7 días antes de tener en cuenta el retraso, los ciclos u otros requisitos del diseño. Una etapa de cribado previa no garantiza un ganador defendible a los 10–12 días.
Una duración planificada combina los requisitos de muestra con el tráfico elegible esperado y el momento de los resultados. No es una garantía de que el experimento vaya a producir un ganador decisivo desde el punto de vista estadístico o comercial.







