Combien de temps faut‑il pour mener des tests A/B publicitaires : Mathématiques de la taille d’échantillon appliquées
La durée d’un test A/B est une question d’arithmétique, pas de folklore : l’échantillon requis divisé par les observations quotidiennes attendues. Les mathématiques de la taille d’échantillon rendues utilisables, ainsi que le délai de conversion, les règles d’arrêt, et pourquoi aucun plancher ni plafond calendaire ne convient à tous les tests.

Planifiez la durée à partir de l’unité expérimentale, du taux de base, de l’effet qu’il vaut la peine de détecter, de la tolérance d’erreur, de l’allocation et des observations attendues par jour. Tenez également compte du délai de conversion et des cycles pertinents. Il n’existe aucun seuil universel de nombre de conversions ou de calendrier qui rende chaque test publicitaire concluant.
La durée est un résultat, pas un choix de calendrier#
Le nombre d’observations attendues par variante influe sur le temps nécessaire pour atteindre un échantillon planifié. Le nombre de conversions seul ne définit pas l’échantillon requis : précisez le taux de base, la taille de l’effet, le plan d’expérience et les hypothèses d’incertitude.
- Le taux de base de la métrique que vous testez — CTR pour les créations, taux de conversion pour les pages d’atterrissage et les offres.
- La plus petite différence digne d’être détectée. Détecter une hausse de 10 % coûte beaucoup plus de trafic que détecter une hausse de 50 %, et la plupart des petites hausses ne valent pas la dépense nécessaire pour les observer.
- Le volume quotidien par variante — fixé par votre budget et vos enchères.
Estimez le nombre d’observations requises selon le plan d’expérience retenu et divisez par les observations attendues par variante et par jour. Vérifiez si la fenêtre obtenue reste pertinente ; une durée de quatre semaines n’est pas un seuil d’invalidité automatique.
Les mathématiques de la taille d’échantillon, sans le diplôme de statistique#
Une approximation grossière de planification pour deux proportions indépendantes suppose une allocation égale, un horizon fixe, un seuil de signification bilatéral de 5 % et une puissance de 80 % :
n par variante ≈ 16 × p × (1 − p) ÷ d²
Ici, p est le taux d’événement de base supposé et d une différence absolue de taux. Le résultat compte des observations par variante, telles que des impressions ou des visites éligibles, et non des conversions. Cette approximation doit être vérifiée en cas d’événements rares, d’allocation inégale, d’utilisateurs récurrents, de regroupement en grappes et d’autres écarts par rapport au plan d’expérience.
Calculs hypothétiques : p=0,005 et d=0,001 donnent environ 79 600 impressions par variante. p=0,02 et d=0,005 donnent environ 12 544 visites éligibles par variante. Si chacune de ces visites coûte US$0.40, deux bras coûtent environ US$10,035 en média avant les autres coûts. Ce sont des scénarios de planification, et non des références sectorielles ni des promesses de signification.
| Ce que vous testez | Taux de base | Hausse à détecter | Échantillon par variante |
|---|---|---|---|
| CTR (créatif) | 0,5 % | 20 % relative | ~80 000 impressions |
| CTR (créatif) | 0,5 % | 50 % relative | ~13 000 impressions |
| CVR (page d’atterrissage) | 2 % | 25 % relative | ~12 500 clics |
| CVR (page d’atterrissage) | 2 % | 50 % relative | ~3 100 clics |
| CVR (page d’offre) | 5 % | 25 % relative | ~4 900 clics |
Selon cette approximation, diviser d par deux quadruple l’échantillon planifié. Le CTR et la conversion répondent à des questions différentes : une amélioration du CTR n’améliore pas nécessairement la contribution ou le coût d’acquisition. Choisissez les métriques et les garde-fous en fonction de la décision, plutôt que de supposer que tester au niveau des impressions est toujours moins cher ou suffisant.
Tenir compte des cycles pertinents et du délai de conversion#
Choisissez une fenêtre qui représente le trafic pertinent et laisse les résultats différés arriver à maturité. Les schémas hebdomadaires peuvent compter, mais sept jours ne constituent ni un minimum universel ni la preuve que le plan d’expérience est représentatif.
Le plafond : les tests longs se détériorent de l’intérieur#
Des fenêtres plus longues peuvent introduire des conditions changeantes, mais un test ne cesse pas automatiquement d’être contrôlé au bout de trois ou quatre semaines. Évaluez la randomisation, l’exposition simultanée, la dérive, les résultats différés et la pertinence pratique ; révisez le plan d’expérience si nécessaire.
Ne pas regarder — ou du moins ne pas agir sur les regards#
Vérifier de façon répétée un test à horizon fixe et s’arrêter au premier résultat de signification favorable peut modifier son taux d’erreur. Pré-spécifiez le plan d’expérience et l’analyse, ou utilisez une méthode séquentielle appropriée. Les conditions d’arrêt opérationnelles se distinguent d’une déclaration de succès statistique.
Règles d’arrêt lorsque vous ne pouvez pas vous permettre la signification#
La plupart des acheteurs natifs et affiliés ne peuvent pas financer 12 500 clics par variante, et prétendre le contraire crée une rigueur factice. L’alternative honnête est un éliminatoire par étapes — plus grossier que le test de signification, et pratique courante parmi les acheteurs qui testent des dizaines de créations par mois :
Une règle d’arrêt financière peut limiter l’exposition mais n’établit pas de signification statistique. Si vous présélectionnez des variantes avant un test de confirmation, tenez compte de la sélection et des comparaisons multiples, et appuyez la décision finale sur des preuves nouvelles issues d’un plan d’expérience approprié. Une règle de 2–3× le CPA cible ou quelques milliers d’impressions ne constitue pas une validation universelle.
Utiliser les observations de la concurrence pour formuler des hypothèses#
Les captures de la concurrence peuvent suggérer des hypothèses créatives. Une fenêtre d’observation de 30 jours n’établit pas qu’un concurrent a passé un test de rentabilité, et choisir un angle familier ne réduit pas l’échantillon nécessaire au plan statistique que vous avez retenu.
Exemple complet, de bout en bout#
Supposons que vous proposiez une offre de génération de leads à 60 $ de paiement avec une campagne générant environ 1 500 clics par jour sur vos cellules de test.
Dans un test hypothétique à allocation égale avec p=0,03 et d=0,009, l’approximation donne environ 5 748 visites éligibles par bras. À 1 500 visites éligibles au total par jour, collecter les deux bras prend environ 7,7 jours avant de tenir compte du délai, des cycles ou d’autres exigences du plan d’expérience. Une étape de présélection antérieure ne garantit pas un gagnant défendable après 10–12 jours.
Une durée planifiée combine les exigences d’échantillon avec le trafic éligible attendu et le moment où les résultats arrivent. Elle ne garantit pas que l’expérience produira un gagnant décisif sur le plan statistique ou commercial.







