Як довго проводити A/B-тестування оголошень: практичне застосування математики вибірки
Тривалість A/B-тесту — це арифметика, а не фольклор: необхідний розмір вибірки, поділений на очікувану щоденну кількість спостережень. Математика вибірки, зведена до практичного застосування, плюс затримка конверсії, правила зупинки та чому жодне календарне обмеження — ні мінімальне, ні максимальне — не підходить для кожного тесту.

Плануйте тривалість, виходячи з експериментальної одиниці, базового рівня, ефекту, який варто виявити, допустимої похибки, розподілу та очікуваної кількості спостережень на день. Також враховуйте затримку конверсії та відповідні цикли. Не існує універсального порогу за кількістю конверсій чи календарними строками, який робив би кожен тест оголошень переконливим.
Тривалість — це результат, а не календарний вибір#
Очікувана кількість спостережень на варіант впливає на час, потрібний для досягнення запланованої вибірки. Сама лише кількість конверсій не визначає необхідний розмір вибірки: вкажіть базовий рівень, розмір ефекту, дизайн та припущення щодо невизначеності.
- Базовий рівень метрики, яку ви тестуєте — CTR для креативів, конверсійність для лендінгів та оферів.
- Найменша різниця, яку варто виявити. Виявлення підйому на 10% коштує набагато більше трафіку, ніж виявлення підйому на 50%, і більшість невеликих підйомів не варті витрат, необхідних для їх виявлення.
- Щоденний обсяг на варіант — визначається вашим бюджетом та ставками.
Оцініть необхідну кількість спостережень за обраного дизайну та поділіть її на очікувану кількість спостережень на варіант на день. Перевірте, чи залишається отримане вікно релевантним; чотиритижнева тривалість — це не автоматичний поріг невалідності.
Математика вибірки без ступеня зі статистики#
Одне грубе наближення для планування двох незалежних часток використовує рівний розподіл, фіксований горизонт, двосторонній 5% рівень значущості та 80% потужність:
n на варіант ≈ 16 × p × (1 − p) ÷ d²
Тут p — це припущений базовий рівень події, а d — абсолютна різниця часток. Результат — це кількість спостережень на варіант, як-от імпресій або придатних візитів, а не конверсій. Наближення потребує перевірки для рідкісних результатів, нерівного розподілу, повторних користувачів, кластеризації та інших відхилень від дизайну.
Гіпотетичні розрахунки: p=0.005 і d=0.001 дають близько 79,600 імпресій на варіант. p=0.02 і d=0.005 дають близько 12,544 придатних візитів на варіант. Якщо кожен такий візит коштує US$0.40, дві групи коштують близько US$10,035 на медіа ще до інших витрат. Це сценарії для планування, а не галузеві бенчмарки чи обіцянки значущості.
| Що ви тестуєте | Базовий рівень | Підйом для виявлення | Вибірка на варіант |
|---|---|---|---|
| CTR (креатив) | 0.5% | 20% відносно | ~80,000 імпресій |
| CTR (креатив) | 0.5% | 50% відносно | ~13,000 імпресій |
| CVR (лендінг) | 2% | 25% відносно | ~12,500 кліків |
| CVR (лендінг) | 2% | 50% відносно | ~3,100 кліків |
| CVR (сторінка оферу) | 5% | 25% відносно | ~4,900 кліків |
За цим наближенням зменшення d вдвічі вчетверо збільшує заплановану вибірку. CTR і конверсія відповідають на різні питання: покращення CTR не обов'язково покращує маржинальний внесок чи вартість залучення. Виберіть метрики та запобіжники відповідно до рішення, а не припускайте, що тестування на рівні імпресій завжди дешевше або достатнє.
Враховуйте відповідні цикли та затримку конверсії#
Виберіть вікно, яке представляє релевантний трафік і дозволяє відкладеним результатам дозріти. Тижневі закономірності можуть мати значення, але сім днів — це ні універсальний мінімум, ні доказ того, що дизайн репрезентативний.
Максимум: довгі тести гниють зсередини#
Довші вікна можуть привносити зміну умов, але тест не перестає автоматично бути контрольованим після трьох-чотирьох тижнів. Оцініть рандомізацію, одночасний вплив, дрейф, затримку результатів та практичну релевантність; за потреби перегляньте дизайн.
Не підглядайте — або принаймні не дійте на основі підглядів#
Повторні перевірки тесту з фіксованим горизонтом і зупинка на першому сприятливому результаті значущості можуть змінити його частоту помилок. Заздалегідь визначте дизайн і аналіз або використовуйте відповідний послідовний метод. Операційні умови зупинки відрізняються від статистичного оголошення успіху.
Правила зупинки для випадків, коли ви не можете дозволити собі значущість#
Більшість нативних та афілійних баєрів не можуть фінансувати 12,500 кліків на варіант, а прикидання іншого породжує фальшиву строгість. Чесною альтернативою є поетапне відсіювання — грубіше, ніж тестування значущості, і стандартна практика серед баєрів, які тестують десятки креативів на місяць:
Фінансове правило зупинки може обмежити експозицію, але не встановлює статистичної значущості. Якщо ви відсіюєте варіанти перед підтверджувальним тестом, враховуйте відбір і множинні порівняння та використовуйте свіжі, належно спроєктовані дані для остаточного рішення. Правило 2–3× CPA чи кілька тисяч імпресій не є універсальною валідацією.
Використовуйте спостереження за конкурентами для формування гіпотез#
Знімки конкурентів можуть підказати гіпотези щодо креативів. 30-денний період спостереження не доводить, що конкурент пройшов перевірку на прибутковість, а вибір знайомого підходу не зменшує вибірку, потрібну для обраного вами статистичного дизайну.
Практичний приклад від початку до кінця#
Припустимо, ви запускаєте офер з лідоґенерацією з виплатою $60 з однією кампанією, яка дає приблизно 1,500 кліків на день по ваших тестових групах.
У гіпотетичному тесті з рівним розподілом за p=0.03 і d=0.009 наближення дає близько 5,748 придатних візитів на групу. За 1,500 загальних придатних візитів на день збір обох груп займає близько 7.7 дня, не враховуючи затримку, цикли чи інші вимоги дизайну. Раніший етап відсіювання не гарантує обґрунтованого переможця за 10–12 днів.
Запланована тривалість поєднує вимоги до вибірки з очікуваним придатним трафіком та часом надходження результатів. Вона не гарантує, що експеримент дасть статистично чи комерційно переконливого переможця.







