OpenAdLibraryOpenAdLibrary
Kreatywność Reklamowa i Lejki Sprzedaży

Jak długo prowadzić testy A/B reklam: Praktyczne obliczenia wielkości próby

Czas trwania testu A/B to arytmetyka, nie folklor: wymagana próba podzielona przez oczekiwaną dzienną liczbę obserwacji. Praktyczne obliczenia wielkości próby, plus opóźnienie konwersji, zasady zakończenia i wyjaśnienie, dlaczego żaden kalendarzowy limit dolny ani górny nie pasuje do każdego testu.

Ilustracja redakcyjna: Jak długo prowadzić testy A/B reklam: Praktyczne obliczenia wielkości próby

Planuj czas trwania na podstawie jednostki eksperymentalnej, podstawowej stopy, efektu wartego wykrycia, tolerancji błędu, alokacji i oczekiwanej liczby obserwacji dziennie. Uwzględnij także opóźnienie konwersji i istotne cykle. Nie istnieje uniwersalny próg liczby konwersji ani próg kalendarzowy, który uczyni każdy test reklamy rozstrzygającym.

Czas trwania jest wynikiem, nie wyborem kalendarzowym#

Oczekiwana liczba obserwacji na wariant wpływa na czas potrzebny do osiągnięcia zaplanowanej próby. Same liczby konwersji nie określają wymaganej próby: podaj podstawową stopę, wielkość efektu, projekt badania i założenia dotyczące niepewności.

  • Podstawowa stopa mierzonej metryki — CTR dla kreacji, współczynnik konwersji dla landingów i ofert.
  • Najmniejsza różnica warta wykrycia. Wykrycie 10% podwyżki kosztuje znacznie więcej ruchu niż wykrycie 50% podwyżki, a większość małych podwyżek nie jest warta wydatków potrzebnych do ich zobaczenia.
  • Dzienny wolumen na wariant — określony przez budżet i stawki.

Oszacuj wymaganą liczbę obserwacji w wybranym projekcie badania i podziel ją przez oczekiwaną liczbę obserwacji na wariant dziennie. Sprawdź, czy otrzymane okno pozostaje istotne; czterotygodniowy czas trwania nie jest automatycznym progiem nieważności.

Matematyka wielkości próby, bez stopnia statystyki#

Jedno zgrubne przybliżenie planistyczne dla dwóch niezależnych proporcji zakłada równą alokację, stały horyzont, dwustronny 5% poziom istotności i 80% mocy:

n na wariant ≈ 16 × p × (1 − p) ÷ d²

Tutaj p to zakładana podstawowa stopa zdarzenia, a d to bezwzględna różnica stóp. Wynik liczy obserwacje na wariant, takie jak wyświetlenia lub kwalifikujące się wizyty, a nie konwersje. Przybliżenie wymaga sprawdzenia w przypadku rzadkich wyników, nierównej alokacji, powtarzających się użytkowników, klasteryzacji i innych odstępstw od projektu badania.

Hipotetyczne obliczenia: p=0.005 i d=0.001 dają około 79,600 wyświetleń na wariant. p=0.02 i d=0.005 dają około 12,544 kwalifikujących się wizyt na wariant. Jeśli każda taka wizyta kosztuje US$0.40, dwa ramiona kosztują około US$10,035 w mediach, przed innymi kosztami. To scenariusze planistyczne, a nie branżowe benchmarki ani obietnice istotności.

Co testujesz Podstawa Wykrywany lift Próbka na wariant
CTR (kreacja) 0.5% 20% względnie ~80,000 wyświetleń
CTR (kreacja) 0.5% 50% względnie ~13,000 wyświetleń
CVR (landing) 2% 25% względnie ~12,500 kliknięć
CVR (landing) 2% 50% względnie ~3,100 kliknięć
CVR (strona oferty) 5% 25% względnie ~4,900 kliknięć

W ramach tego przybliżenia zmniejszenie d o połowę czterokrotnie zwiększa planowaną próbę. CTR i konwersja odpowiadają na różne pytania: poprawa CTR nie musi poprawiać kontrybucji ani kosztu pozyskania. Wybierz metryki i zabezpieczenia wokół decyzji, zamiast zakładać, że testowanie na poziomie wyświetleń jest zawsze tańsze lub wystarczające.

Uwzględnij istotne cykle i opóźnienie konwersji#

Wybierz okno, które reprezentuje istotny ruch i pozwala dojrzeć opóźnionym wynikom. Wzorce tygodniowe mogą mieć znaczenie, ale siedem dni nie jest ani uniwersalnym minimum, ani dowodem, że projekt badania jest reprezentatywny.

Limit górny: długie testy psują się od środka#

Dłuższe okna mogą wprowadzać zmieniające się warunki, ale test nie przestaje automatycznie być kontrolowany po trzech lub czterech tygodniach. Oceń randomizację, równoczesną ekspozycję, dryf, opóźnione wyniki i praktyczne znaczenie; w razie potrzeby zmień projekt badania.

Nie podglądaj — albo przynajmniej nie reaguj na podglądy#

Wielokrotne sprawdzanie testu o stałym horyzoncie i zatrzymanie przy pierwszym korzystnym wyniku istotności może zmienić jego poziom błędu. Z góry określ projekt i analizę albo użyj odpowiedniej metody sekwencyjnej. Operacyjne warunki zatrzymania różnią się od statystycznego ogłoszenia sukcesu.

Zasady zakończenia, gdy nie stać Cię na istotność#

Większość nabywców natywnych i afiliacyjnych nie może sfinansować 12 500 kliknięć na wariant, a udawanie, że tak, generuje fałszywą rygorystyczność. Uczciwą alternatywą jest etapowe odrzucanie — mniej precyzyjne niż testowanie istotności, a standardowa praktyka wśród nabywców testujących dziesiątki kreacji miesięcznie:

Finansowa zasada zatrzymania może ograniczyć ekspozycję, ale nie ustala istotności statystycznej. Jeśli odsiewasz warianty przed testem potwierdzającym, uwzględnij selekcję i wielokrotne porównania oraz użyj świeżych, odpowiednio zaprojektowanych dowodów do ostatecznej decyzji. Reguła 2–3× CPA albo kilka tysięcy wyświetleń nie jest uniwersalnym potwierdzeniem.

Wykorzystaj obserwacje konkurencji do formułowania hipotez#

Zapisy konkurencji mogą sugerować hipotezy kreatywne. 30-dniowy okres obserwacji nie dowodzi, że konkurent przeszedł kontrolę rentowności, a wybór znanego kąta nie zmniejsza próby potrzebnej dla wybranego projektu statystycznego.

Przykład z życia, od początku do końca#

Załóżmy, że prowadzisz ofertę lead‑gen z wypłatą $60, z jedną kampanią generującą około 1 500 kliknięć dziennie w Twoich komórkach testowych.

W hipotetycznym teście z równą alokacją, gdzie p=0.03 i d=0.009, przybliżenie daje około 5,748 kwalifikujących się wizyt na ramię. Przy 1,500 łącznych kwalifikujących się wizyt dziennie zebranie obu ramion zajmuje około 7.7 dnia, nie licząc opóźnienia, cykli ani innych wymagań projektu. Wcześniejszy etap odsiewania nie gwarantuje obronnego zwycięzcy po 10–12 dniach.

Zaplanowany czas trwania łączy wymagania dotyczące próby z oczekiwanym kwalifikującym się ruchem i harmonogramem wyników. Nie jest gwarancją, że eksperyment przyniesie statystycznie lub komercyjnie rozstrzygającego zwycięzcę.

Najczęściej zadawane pytania

Ile konwersji potrzebuję na wariant w teście A/B reklamy?
Wymagana liczba obserwacji zależy od podstawowej stopy, efektu bezwzględnego, mocy, tolerancji błędu i projektu badania. Przedstawiony wzór to zgrubne przybliżenie dla niezależnych proporcji, a nie precyzyjna reguła dotycząca liczby konwersji.
Czy 3 dni to wystarczająco długo, aby przeprowadzić test A/B reklamy?
To zależy od projektu badania, kwalifikującego się ruchu, istotnych cykli i opóźnienia wyników. Trzy dni mogą być zbyt krótkie w przypadku konkretnego pytania, ale siedem dni nie jest uniwersalnym progiem ważności.
Czy powinienem testować reklamy pod kątem CTR czy współczynnika konwersji?
Wybierz metrykę odpowiednią do decyzji i uwzględnij zabezpieczenia na dalszych etapach. CTR i współczynnik konwersji odpowiadają na różne pytania; ten artykuł nie ustala uniwersalnej różnicy kosztów rzędu 10–100×.
Co się stanie, jeśli zatrzymam test A/B, gdy tylko osiągnie istotność?
Znacząco podniesiesz współczynnik fałszywych trafień. Sprawdzanie codziennie i zatrzymanie przy pierwszym istotnym wyniku oznacza, że wiele „zwycięzców” to szum, który z większą ilością danych by się odwrócił — klasyczny problem podglądu. Zobowiąż się do określonej wielkości próby, używaj codziennych kontroli jedynie w sytuacjach stop‑loss, takich jak zepsuty tracking lub niekontrolowane wydatki, i oceniaj wyniki dopiero po zakończeniu zbierania próby.
Dlaczego mój zwycięski wariant reklamy przestał wygrywać po zakończeniu testu?
Możliwe wyjaśnienia obejmują niepewność, błąd selekcji, zmieniający się ruch, opóźnione wyniki oraz rzeczywiste zmiany skuteczności. Artykuł nie ustalił zwykłej przyczyny; przeanalizuj projekt badania i późniejsze dane.
Zespół OpenAdLibrary
AutorZespół OpenAdLibrary
Analiza reklam i badania reklam natywnych

Tworzymy OpenAdLibrary, otwartą platformę transparentności reklam. Każdego dnia nasze systemy przechwytują na żywo reklamy natywne w sieciach Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo i MSN, identyfikują prawdziwego reklamodawcę za każdą z nich i śledzą kliknięcie do strony docelowej. Te przewodniki destylują to, co widzimy w tych danych, abyś mógł szybciej badać rynek.