OpenAdLibraryOpenAdLibrary
Креатив та воронки

Як довго проводити A/B-тестування оголошень: практичне застосування математики вибірки

Тривалість A/B-тесту — це арифметика, а не фольклор: необхідний розмір вибірки, поділений на очікувану щоденну кількість спостережень. Математика вибірки, зведена до практичного застосування, плюс затримка конверсії, правила зупинки та чому жодне календарне обмеження — ні мінімальне, ні максимальне — не підходить для кожного тесту.

Ілюстрація до статті: Як довго проводити A/B-тестування оголошень: практичне застосування математики вибірки

Плануйте тривалість, виходячи з експериментальної одиниці, базового рівня, ефекту, який варто виявити, допустимої похибки, розподілу та очікуваної кількості спостережень на день. Також враховуйте затримку конверсії та відповідні цикли. Не існує універсального порогу за кількістю конверсій чи календарними строками, який робив би кожен тест оголошень переконливим.

Тривалість — це результат, а не календарний вибір#

Очікувана кількість спостережень на варіант впливає на час, потрібний для досягнення запланованої вибірки. Сама лише кількість конверсій не визначає необхідний розмір вибірки: вкажіть базовий рівень, розмір ефекту, дизайн та припущення щодо невизначеності.

  • Базовий рівень метрики, яку ви тестуєте — CTR для креативів, конверсійність для лендінгів та оферів.
  • Найменша різниця, яку варто виявити. Виявлення підйому на 10% коштує набагато більше трафіку, ніж виявлення підйому на 50%, і більшість невеликих підйомів не варті витрат, необхідних для їх виявлення.
  • Щоденний обсяг на варіант — визначається вашим бюджетом та ставками.

Оцініть необхідну кількість спостережень за обраного дизайну та поділіть її на очікувану кількість спостережень на варіант на день. Перевірте, чи залишається отримане вікно релевантним; чотиритижнева тривалість — це не автоматичний поріг невалідності.

Математика вибірки без ступеня зі статистики#

Одне грубе наближення для планування двох незалежних часток використовує рівний розподіл, фіксований горизонт, двосторонній 5% рівень значущості та 80% потужність:

n на варіант ≈ 16 × p × (1 − p) ÷ d²

Тут p — це припущений базовий рівень події, а d — абсолютна різниця часток. Результат — це кількість спостережень на варіант, як-от імпресій або придатних візитів, а не конверсій. Наближення потребує перевірки для рідкісних результатів, нерівного розподілу, повторних користувачів, кластеризації та інших відхилень від дизайну.

Гіпотетичні розрахунки: p=0.005 і d=0.001 дають близько 79,600 імпресій на варіант. p=0.02 і d=0.005 дають близько 12,544 придатних візитів на варіант. Якщо кожен такий візит коштує US$0.40, дві групи коштують близько US$10,035 на медіа ще до інших витрат. Це сценарії для планування, а не галузеві бенчмарки чи обіцянки значущості.

Що ви тестуєте Базовий рівень Підйом для виявлення Вибірка на варіант
CTR (креатив) 0.5% 20% відносно ~80,000 імпресій
CTR (креатив) 0.5% 50% відносно ~13,000 імпресій
CVR (лендінг) 2% 25% відносно ~12,500 кліків
CVR (лендінг) 2% 50% відносно ~3,100 кліків
CVR (сторінка оферу) 5% 25% відносно ~4,900 кліків

За цим наближенням зменшення d вдвічі вчетверо збільшує заплановану вибірку. CTR і конверсія відповідають на різні питання: покращення CTR не обов'язково покращує маржинальний внесок чи вартість залучення. Виберіть метрики та запобіжники відповідно до рішення, а не припускайте, що тестування на рівні імпресій завжди дешевше або достатнє.

Враховуйте відповідні цикли та затримку конверсії#

Виберіть вікно, яке представляє релевантний трафік і дозволяє відкладеним результатам дозріти. Тижневі закономірності можуть мати значення, але сім днів — це ні універсальний мінімум, ні доказ того, що дизайн репрезентативний.

Максимум: довгі тести гниють зсередини#

Довші вікна можуть привносити зміну умов, але тест не перестає автоматично бути контрольованим після трьох-чотирьох тижнів. Оцініть рандомізацію, одночасний вплив, дрейф, затримку результатів та практичну релевантність; за потреби перегляньте дизайн.

Не підглядайте — або принаймні не дійте на основі підглядів#

Повторні перевірки тесту з фіксованим горизонтом і зупинка на першому сприятливому результаті значущості можуть змінити його частоту помилок. Заздалегідь визначте дизайн і аналіз або використовуйте відповідний послідовний метод. Операційні умови зупинки відрізняються від статистичного оголошення успіху.

Правила зупинки для випадків, коли ви не можете дозволити собі значущість#

Більшість нативних та афілійних баєрів не можуть фінансувати 12,500 кліків на варіант, а прикидання іншого породжує фальшиву строгість. Чесною альтернативою є поетапне відсіювання — грубіше, ніж тестування значущості, і стандартна практика серед баєрів, які тестують десятки креативів на місяць:

Фінансове правило зупинки може обмежити експозицію, але не встановлює статистичної значущості. Якщо ви відсіюєте варіанти перед підтверджувальним тестом, враховуйте відбір і множинні порівняння та використовуйте свіжі, належно спроєктовані дані для остаточного рішення. Правило 2–3× CPA чи кілька тисяч імпресій не є універсальною валідацією.

Використовуйте спостереження за конкурентами для формування гіпотез#

Знімки конкурентів можуть підказати гіпотези щодо креативів. 30-денний період спостереження не доводить, що конкурент пройшов перевірку на прибутковість, а вибір знайомого підходу не зменшує вибірку, потрібну для обраного вами статистичного дизайну.

Практичний приклад від початку до кінця#

Припустимо, ви запускаєте офер з лідоґенерацією з виплатою $60 з однією кампанією, яка дає приблизно 1,500 кліків на день по ваших тестових групах.

У гіпотетичному тесті з рівним розподілом за p=0.03 і d=0.009 наближення дає близько 5,748 придатних візитів на групу. За 1,500 загальних придатних візитів на день збір обох груп займає близько 7.7 дня, не враховуючи затримку, цикли чи інші вимоги дизайну. Раніший етап відсіювання не гарантує обґрунтованого переможця за 10–12 днів.

Запланована тривалість поєднує вимоги до вибірки з очікуваним придатним трафіком та часом надходження результатів. Вона не гарантує, що експеримент дасть статистично чи комерційно переконливого переможця.

Часті питання

Скільки конверсій потрібно на варіант у A/B-тесті оголошень?
Необхідна кількість спостережень залежить від базового рівня, абсолютного ефекту, потужності, допустимої похибки та дизайну. Наведена формула — це грубе наближення для незалежних часток, а не точне правило підрахунку конверсій.
Чи достатньо 3 днів для проведення A/B-тесту оголошень?
Це залежить від дизайну, придатного трафіку, відповідних циклів та затримки результатів. Три дні можуть бути занадто коротким строком для конкретного питання, але сім днів — це не універсальний поріг валідності.
Чи слід тестувати оголошення за CTR чи за конверсійністю?
Виберіть метрику відповідно до рішення та додайте запобіжники для подальших етапів. CTR і конверсійність відповідають на різні питання; ця стаття не встановлює універсальної різниці у витратах у 10–100 разів.
Що станеться, якщо я зупиню A/B-тест одразу, як тільки він досягне статистичної значущості?
Ви різко збільшите частоту хибнопозитивних результатів. Щоденна перевірка та зупинка при першому значущому показнику означає, що багато «переможців» — це статистичний шум, який регресував би з більшими даними — класична проблема підглядання. Заздалегідь визначте розмір вибірки, використовуйте щоденні перевірки лише для стоп-лосс умов, таких як зламане відстеження або неконтрольовані витрати, та оцінюйте результат один раз, коли вибірка буде повною.
Чому мій переможний варіант оголошення перестав перемагати після тесту?
Можливі пояснення включають невизначеність, упередження відбору, зміну трафіку, затримку результатів та реальні зміни в результативності. Стаття не встановила звичайної причини; перевірте дизайн і подальші дані.
Команда OpenAdLibrary
АвторКоманда OpenAdLibrary
Дослідження нативної реклами та ad intelligence

Ми створюємо OpenAdLibrary — відкриту платформу для прозорості реклами. Щодня наші системи збирають живі нативні оголошення на Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo та MSN, ідентифікують справжнього рекламодавця за кожним з них і відстежують клік до цільової сторінки. Ці гайди концентрують наші спостереження з цих даних, щоб ви могли досліджувати ринок швидше.