A/B-тестування (реклама)

A/B-тестування в рекламі означає запуск двох варіантів — креативу оголошення, заголовка або цільової сторінки — один проти одного в однакових умовах, щоб виміряти, який з них показує кращі результати за визначеною метрикою. Назва походить від позначення двох версій як A та B; все інше — таргетинг, бюджет, час — залишається незмінним, щоб різницю в результатах можна було приписати садиній зміненій речі.

Основна вимога: одна змінна за раз#

Чистий A/B-тест змінює рівно один елемент між варіантами. Тестування нового заголовка, нового зображення та нового креативного підходу одночасно показує, чи працює комбінація, але не яка саме зміна призвела до результату. Тестування нативної реклами в реальному світі часто стає більш безладним, ніж у підручнику, оскільки покупці хочуть рухатися швидко, але найчистіший сигнал все ще надходить від ізоляції однієї змінної.

Яка метрика визначає переможця#

Яка метрика має значення, залежить від цілі. Тест, оптимізований лише на CTR, може вибрати переможця, який отримує кліки, але не конвертує, тому більшість досвідчених покупців надають більшої ваги конверсійності або CPA, ніж сирому обсягу кліків. Креативне тестування — це ширша практика, до якої це входить; A/B-тестування — це конкретний метод порівняння рівно двох варіантів одночасно, на відміну від запуску багатьох варіантів одночасно в багатофакторному тесті.

Уникнення хибних переможців#

Найпоширеніша помилка — оголосити переможця до того, як розмір вибірки стане достатньо великим для статистичної достовірності, тобто спостережуваний розрив може легко бути випадковим шумом, а не реальною різницею. Варіант, який "перемагає" після сорока кліків, може легко змінитися після чотирьохсот. Очікування достатнього обсягу та, в ідеалі, проведення тесту протягом більше одного дня, щоб згладити ефекти дня тижня, захищає від масштабування бюджету на випадковий успіх.

Конкретно в нативній рекламі#

Нативні мережі, такі як Taboola, Outbrain та MGID, зазвичай проводять A/B-тестування на рівні креативу в межах однієї кампанії, дозволяючи власному алгоритму платформи автоматично розподіляти більше показів на кращий варіант, коли накопичується достатня вибірка. Покупці, які досліджують як працюють оголошення Taboola або як рекламуватися на Taboola, безпосередньо зіткнуться з цим вбудованим рівнем тестування всередині рекламної платформи, окрім будь-якого ручного тестування, яке вони проводять самостійно.

Спостереження за тим, які креативні варіанти конкурент запускає одночасно, є одним з найчіткіших живих сигналів про A/B-тест, що триває. Платформа ad intelligence OpenAdLibrary показує кожен активний варіант для бренду, щоб ви могли спостерігати, який з них виживе.

Швидка перевірка перед початком#

Перед запуском будь-якого A/B-тесту переконайтеся, що математика розміру вибірки приблизно має сенс для вашого щоденного бюджету та конверсійності пропозиції. Тест, який займе шість тижнів, щоб досягти надійної вибірки за поточним рівнем витрат, ймовірно, потребує більшого розподілу бюджету або більш тривалого вікна тестування, запланованого заздалегідь, а не рішення, прийнятого посеред тесту через нетерпіння.