Как долго проводить A/B‑тесты рекламных объявлений: практический расчёт размера выборки
Продолжительность A/B‑теста — это арифметика, а не народная мудрость: требуемая выборка, делённая на ожидаемое количество ежедневных наблюдений. Практический расчёт размера выборки, плюс задержка конверсии, правила остановки и почему ни один календарный «пол» или «потолок» не подходит каждому тесту.

Планируйте продолжительность исходя из экспериментальной единицы, базового уровня, эффекта, который стоит обнаружить, допустимой ошибки, распределения и ожидаемого количества наблюдений в день. Также учитывайте задержку конверсии и релевантные циклы. Не существует универсального порога по числу конверсий или календарного порога, который делает каждый тест объявления убедительным.
Продолжительность — это результат, а не календарный выбор#
Ожидаемое количество наблюдений на вариант влияет на время, необходимое для достижения запланированной выборки. Одни только конверсии не определяют требуемую выборку: укажите базовый уровень, размер эффекта, дизайн и допущения о неопределённости.
- Базовый уровень метрики, которую вы тестируете — CTR для креативов, conversion rate для посадочных страниц и офферов.
- Наименьшее различие, которое стоит обнаружить. Обнаружение 10 % прироста требует гораздо больше трафика, чем обнаружение 50 % прироста, и большинство небольших приростов не оправдывают затраты на их выявление.
- Ежедневный объём на вариант — задаётся вашим бюджетом и ставками.
Оцените требуемое количество наблюдений в рамках выбранного дизайна и разделите на ожидаемое количество наблюдений на вариант в день. Проверьте, остаётся ли полученное окно релевантным; четырёхнедельная продолжительность не является автоматическим порогом невалидности.
Расчёт размера выборки без степени статистики#
Одна грубая аппроксимация для планирования эксперимента с двумя независимыми долями использует равное распределение, фиксированный горизонт, двусторонний уровень значимости 5% и мощность 80%:
n per variant ≈ 16 × p × (1 − p) ÷ d²
Здесь p — предполагаемый базовый уровень событий, а d — абсолютная разница долей. Результат подсчитывает наблюдения на вариант, например показы или подходящие визиты, а не конверсии. Эту аппроксимацию нужно проверять при редких исходах, неравном распределении, повторных пользователях, кластеризации и других отклонениях от дизайна.
Гипотетические расчёты: p=0.005 и d=0.001 дают около 79,600 показов на вариант. p=0.02 и d=0.005 дают около 12,544 подходящих визитов на вариант. Если каждый такой визит стоит US$0.40, две группы стоят около US$10,035 на медиа до прочих затрат. Это плановые сценарии, а не отраслевые бенчмарки и не обещания значимости.
| Что тестируется | Базовый уровень | Прирост для обнаружения | Выборка на вариант |
|---|---|---|---|
| CTR (креатив) | 0.5% | 20% относительный | ~80 000 показов |
| CTR (креатив) | 0.5% | 50% относительный | ~13 000 показов |
| CVR (лендер) | 2% | 25% относительный | ~12 500 кликов |
| CVR (лендер) | 2% | 50% относительный | ~3 100 кликов |
| CVR (страница оффера) | 5% | 25% относительный | ~4 900 кликов |
В рамках этой аппроксимации уменьшение d вдвое увеличивает запланированную выборку в четыре раза. CTR и конверсия отвечают на разные вопросы: улучшение CTR не обязательно улучшает вклад или стоимость привлечения. Выбирайте метрики и ограничители исходя из решения, а не предполагайте, что тестирование на уровне показов всегда дешевле или достаточно.
Учитывайте релевантные циклы и задержку конверсии#
Выбирайте окно, которое отражает релевантный трафик и позволяет отложенным результатам дозреть. Недельные паттерны могут иметь значение, но семь дней — это ни универсальный минимум, ни доказательство того, что дизайн репрезентативен.
Потолок: длительные тесты «гниют» изнутри#
Более длительные окна могут вносить меняющиеся условия, но тест не перестаёт автоматически быть контролируемым после трёх или четырёх недель. Оценивайте рандомизацию, одновременное воздействие, дрейф, отложенные результаты и практическую релевантность; при необходимости пересмотрите дизайн.
Не подглядывайте — или хотя бы не действуйте на подглядывания#
Многократная проверка теста с фиксированным горизонтом и остановка при первом благоприятном результате по значимости могут изменить его уровень ошибки. Заранее задайте дизайн и анализ или используйте подходящий последовательный метод. Операционные условия остановки отличаются от объявления статистического успеха.
Правила прекращения, когда вы не можете позволить себе значимость#
Большинство native‑ и affiliate‑покупателей не могут финансировать 12 500 кликов на вариант, и притворяться иначе приводит к фальшивой строгости. Честная альтернатива — поэтапное отсеивание, более грубое, чем тестирование на значимости, и стандартная практика среди покупателей, тестирующих десятки креативов в месяц:
Финансовое правило остановки может ограничить экспозицию, но не устанавливает статистическую значимость. Если вы отсеиваете варианты перед подтверждающим тестом, учитывайте отбор и множественные сравнения и используйте свежие, надлежащим образом спроектированные данные для окончательного решения. Правило 2–3× CPA или несколько тысяч показов не являются универсальной валидацией.
Используйте наблюдения за конкурентами для формирования гипотез#
Наблюдения за конкурентами могут подсказывать креативные гипотезы. 30‑дневный период наблюдения не устанавливает, что конкурент прошёл проверку на прибыльность, а выбор знакомого угла не уменьшает выборку, необходимую для выбранного вами статистического дизайна.
Пример из практики, от начала до конца#
Предположим, вы продвигаете оффер с выплатой $60 за лид, имея одну кампанию, генерирующую примерно 1 500 кликов в день по вашим тестовым ячейкам.
В гипотетическом тесте с равным распределением при p=0.03 и d=0.009 аппроксимация даёт около 5,748 подходящих визитов на группу. При 1,500 общих подходящих визитов в день сбор обеих групп занимает около 7.7 дней без учёта задержки, циклов или других требований дизайна. Более ранний этап отсеивания не гарантирует обоснованного победителя через 10–12 дней.
Запланированная продолжительность объединяет требования к выборке с ожидаемым подходящим трафиком и сроками наступления результатов. Она не гарантирует, что эксперимент даст статистически или коммерчески убедительного победителя.







