Тестування проти масштабування бюджету: 70/20/10, яке не є догмою

Типовий початковий розподіл бюджету на тестування та масштабування — приблизно 70% перевіреним переможцям, 20% близьким варіантам того, що вже працює, і 10% справді новим креативам або тестам пропозицій, але ставтеся до цього 70/20/10 як до відправної точки для коригування, а не до правила, якого слід сліпо дотримуватися. Правильний розподіл залежить від того, скільки переможців у вас є наразі, як швидко втомлюються ваші найкращі креативи, і скільки у вас ресурсу, щоб пережити поганий тиждень тестування.

Чому співвідношення не є головним#

Рамкова структура 70/20/10 (або 80/15/5, або 60/30/10, залежно від того, кого ви питаєте) повторюється, тому що це розумний стандарт для того, хто не має іншої інформації. Але вона відповідає на неправильне запитання. Насправді, рішення, яке мають прийняти баєри, — це не "який відсоток мені тестувати", а "скільки я можу дозволити собі втратити цього тижня, не загрожуючи кампанії, і скільки креативних концепцій мені потрібно запустити одночасно, щоб підтримувати конвеєр переможців?"

Ті два запитання дають дуже різні розподіли залежно від розміру акаунту. Баєр, який витрачає $500 на день, тестуючи 10%, має $50 на день, щоб знайти нового переможця, що при типових витратах на нативне тестування ледь вистачає для отримання орієнтовного уявлення про один новий кут. Баєр, який витрачає $10 000 на день, має $1 000 на день для тестування, що дозволяє запустити чотири-п'ять реальних тестів паралельно. Відсоток однаковий; практична потужність тестування — ні.

Реальні вхідні дані для вашого розподілу#

Кількість переможців. Якщо у вас зараз один працюючий оголос і він демонструє ранні ознаки втоми, вам потрібно тестувати агресивніше, ніж 10%, тому що ви за один поганий тиждень від того, щоб залишитися без переможців. Якщо у вас є п'ять стабільних переможців у різних кутах, ви можете дозволити собі більше масштабуватися і тестувати консервативніше.

Швидкість втоми. Часові рамки втоми нативних креативів варіюються залежно від вертикалі та мережі, але закономірність постійна: продуктивність знижується в міру зростання частоти показу, коли той самий сегмент аудиторії бачить оголошення повторно. Відстежуйте, скільки днів зазвичай тримається ваш переможець до початку деградації, і плануйте бюджет тестування так, щоб мати готову заміну до цього моменту, а не після. Дивіться креативна втома для основного механізму.

Обсяг акаунту. Скільки поганих тижнів може витримати бізнес, перш ніж доведеться скорочувати витрати? Менший запас міцності вимагає меншого, більш консервативного виділення на тестування, навіть якщо це уповільнює пошук нових переможців; компроміс реальний, і немає формули, яка б його усунула.

Вартість тестування за одиницю знання. Дешевий тест Revcontent або MGID у гео нижчого рівня може дати вам орієнтовне уявлення за кілька сотень доларів. Тест Taboola у конкурентній вертикалі Tier-1, як-от фінанси чи страхування, потребує значно більших витрат, перш ніж дані стануть надійними. Плануйте свій бюджет тестування, виходячи з вартості реальної відповіді, а не довільної цифри.

Практична рамкова структура замість фіксованого співвідношення#

1. Встановіть мінімум тестування, а не відсоток. Визначте мінімальну тижневу суму в доларах, необхідну для проведення щонайменше двох реальних тестів креативів або кутів до статистично значущої вибірки. Це ваш мінімум незалежно від загальних витрат.
2. Масштабуйте виділення переможцям, щоб заповнити решту, але обмежте, скільки йде на один конкретний креатив або паблішера, оскільки дані про продуктивність на рівні паблішера часто показують, що навіть у "переможної" кампанії є слабкі місця, які варто обрізати, а не сліпо масштабувати все пропорційно.
3. Зарезервуйте середній рівень для ітерацій, а не абсолютно нових концепцій: варіації переможного гачка, нове зображення на перевіреному заголовку, інший CTA. Це дешевше тестувати, ніж повністю нові концепції, і має вищий коефіцієнт успіху, що в основному і робить "20%" у 70/20/10.
4. Переглядайте щотижня, а не щомісяця. Правильний розподіл змінюється в міру втоми переможців та успіху чи невдачі нових тестів; фіксоване місячне виділення швидко застаріває в каналі, де креативна деградація вимірюється днями чи тижнями, а не кварталами.

Куди насправді має йти бюджет тестування#

Не кожна мережа чи гео заслуговує однакових витрат на тестування. Дешевші гео та мережі дозволяють отримати уявлення швидше та дешевше: тестування нового кута в гео Tier-2 на MGID або Revcontent перед тим, як запускати його в кампанію Tier-1 Taboola, є поширеним патерном саме тому, що вартість неправильної відповіді нижча. Якщо кут працює дешево, це набагато безпечніша ставка для масштабування на преміум-інвентар. Також саме тут перевірка того, чи подібний кут вже доведений в іншому місці, окупається. Перш ніж витрачати бюджет тестування на концепцію з нуля, аналіз переможних нативних рекламних креативів вже живих у вашій вертикалі покаже, чи має кут потенціал, перш ніж ви заплатите, щоб дізнатися це самостійно.

Приклад з різними розмірами акаунтів#

Розглянемо два акаунти, які номінально використовують розподіл 70/20/10. Акаунт A витрачає $400/день; його 10% виділення на тестування становить $40/день, що в більшості нативних мереж недостатньо для досягнення навіть однієї конверсії у вертикалі Tier-1 протягом тижня, не кажучи вже про порівняння двох концепцій між собою. Акаунт B витрачає $8,000/день; його 10% — це $800/день, достатньо для запуску трьох або чотирьох реальних тестів одночасно та отримання надійного уявлення протягом кількох днів.

Рішення для акаунту A зазвичай не в тому, щоб "тестувати менше", а в реструктуризації співвідношення так, щоб мінімум тестування був фіксованою сумою в доларах, а не відсотком: можливо, $150/день, незалежно від того, яку частку загальних витрат це становить, фінансуючи це за рахунок невеликого скорочення виділення на масштабування, а не знижуючи якість тестування нижче точки, де воно дає корисні дані. Тест, який не може досягти реальної вибірки, не є дешевшим — це просто спосіб витрачати гроші без отримання знань, що гірше, ніж не тестувати взагалі.

Сигнали, що ваш розподіл потребує зміни#

Кілька конкретних тригерів, на які варто звернути увагу, замість того, щоб чекати запланованого перегляду:

• Продуктивність вашого найкращого креативу падає два тижні поспіль. Це ранній сигнал втоми, і це означає, що ваш конвеєр тестувань вже повинен мати готового кандидата, а не починати з нуля, коли переможець повністю деградує.
• Ваш коефіцієнт успіху тестів був незвично високим останнім часом. Якщо три з ваших останніх п'яти тестів перетворилися на життєздатних переможців, це ознака того, що вертикаль або пул кутів, з якого ви черпаєте, зараз незвично родючий, і тимчасове посилення тестування може прискорити результати швидше, ніж дотримання фіксованого співвідношення.
• Ви не отримали жодного нового переможця за місяць, незважаючи на постійні витрати на тестування. Це сигнал подивитися, звідки беруться ваші тестові концепції, а не обов'язково змінювати співвідношення; більше грошей на тестування слабких концепцій просто швидше спалює бюджет.

Поширені помилки з розподілом#

• Ставлення до співвідношення як до фіксованого незалежно від результатів. Якщо тестування дає переможців з високим коефіцієнтом успіху, це сигнал посилити його, а не механічно обмежувати 10%.
• Тестування занадто багатьох змінних одночасно. Тест, який змінює заголовок, зображення та цільову сторінку одночасно, не показує, яка зміна мала значення. Ізолюйте змінні там, де дозволяє бюджет.
• Занадто раннє припинення тестів. Недофінансовані тести, які оцінюються на перший або другий день витрат, зазвичай оцінюються на основі шуму, а не сигналу. Плануйте бюджет тестування відповідно до необхідної вибірки, перш ніж приймати рішення.
• Ніколи не переглядати витрати на "масштабування". Гроші, виділені переможцям, не є налаштував і забув; вони все ще потребують постійної дисципліни ставок на рівні паблішера, пристрою та гео, щоб переможець продовжував вигравати.

Як дізнатися, чи працює ваш розподіл#

Відстежуйте просте співвідношення протягом ковзного чотиритижневого вікна: витрачені долари на тестування проти нових отриманих переможців. Якщо це співвідношення погіршується (більше доларів тестування на знайденого переможця), проблема зазвичай не у відсотку розподілу, а в якості концепцій, що надходять у тестування. Кращі вхідні дані, отримані на основі того, що насправді працює у вашій вертикалі прямо зараз, виправляють це швидше, ніж перетасування бюджетного співвідношення.

70/20/10 — це чудове місце для початку в перший день нового акаунту. До четвертого тижня ваша власна швидкість втоми, кількість переможців та коефіцієнт успіху тестів повинні визначати число, а не правило, яке ви прочитали в блог-пості.