Testowanie Incrementalności: Definicja i Jak Działa

Testowanie incrementalności to kontrolowany eksperyment, który szacuje, jaką część aktywności konwersyjnej raportowanej dla kanału reklamowego faktycznie spowodowały same reklamy, zamiast opierać się na konwersjach, które śledzenie platformowe przypisuje swoim reklamom. Wstrzymujesz grupę użytkowników lub regionów przed zobaczeniem reklam konkretnego kanału, a następnie porównujesz wynik z grupą, która je widziała. Dobrze zaprojektowany test odczytuje różnicę między grupami jako oszacowanie przyrostowego efektu kanału dla danej grupy odbiorców, okresu i konfiguracji, raportowane wraz z jego niepewnością; wyniki, które pozostają w grupie kontrolnej, to te, które wydarzyły się bez reklam.

Dlaczego liczby raportowane przez platformy mogą różnić się od wyników przyrostowych#

Platformy reklamowe przypisują konwersje do reklam według własnych zasad. Jeśli ktoś i tak zamierzał kupić poprzez organiczne wyszukiwanie lub kliknięcie w markową frazę, a jednocześnie zobaczył po drodze reklamę remarketingową, standardowe śledzenie konwersji może nadal przypisać ten kredyt reklamie w ramach swojego okna atrybucji. Łagodniejsze przypisanie, gdzie platforma liczy konwersję po jedynie zobaczeniu reklamy, powiększa tę różnicę; ten mechanizm nazywa się atrybucją view-through. Konwersje raportowane przez platformę nie są więc tym samym co konwersje, które spowodowały jej reklamy. Testowanie incrementalności zadaje inne pytanie: gdyby ten kanał nie prowadził reklam, czy konwersja i tak by się odbyła?

To inne pytanie niż to, na które samodzielnie odpowiada piksel śledzący, dlatego testowanie incrementalności stosuje się obok pulpitów platformowych, a nie zamiast nich.

Jak zespoły realizują to w praktyce#

Stosuje się kilka projektów badania. Test na poziomie geo przypisuje regiony do warunku testowego lub kontrolnego, na przykład uruchamiając reklamy kanału w niektórych regionach i wstrzymując je w innych, i porównuje wyniki, takie jak sprzedaż lub konwersje, między regionami; eksperymenty geo Google losowo przypisują niepokrywające się regiony, a GeoLift firmy Meta buduje syntetyczną grupę kontrolną z regionów nietraktowanych. Test na poziomie użytkownika korzysta z narzędzia platformy reklamowej do pomiaru liftu konwersji: Conversion Lift firmy Meta losowo przypisuje osoby do grupy testowej, która widzi reklamy, i grupy kontrolnej, która ich nie widzi, a Google Ads Conversion Lift oferuje badania na poziomie użytkowników i na poziomie geograficznym, choć Google podaje, że nie jest on dostępny dla wszystkich kont.

Sposób szacowania efektu zależy od projektu badania. W randomizowanym teście na poziomie użytkownika oszacowaniem jest różnica w wynikach między grupą testową a grupą kontrolną, którą można raportować jako dodatkowe konwersje lub jako procent przewagi nad grupą kontrolną. Jako przykład hipotetyczny: jeśli 10 000 użytkowników testowych generuje 300 konwersji, a 10 000 użytkowników kontrolnych 250, szacowany lift wynosi 50 konwersji, czyli 20% ponad grupę kontrolną, nawet jeśli platforma przypisała wszystkie 300 konwersji swoim reklamom. Testy geo zazwyczaj nie opierają się na tak prostym odejmowaniu: porównują regiony poddane działaniu reklam z tym, co według modelu, takiego jak syntetyczna grupa kontrolna zbudowana z regionów nietraktowanych, wytworzyłyby bez reklam. Kanał o wysokim, samodzielnie raportowanym przez platformę ROAS może w teście wykazać znacznie mniejszy efekt przyrostowy; jak duża jest ta różnica, zależy od kanału, grupy odbiorców i okna pomiarowego.

Do czego jest używany#

Kupujący media wykorzystują testy incrementalności do informowania alokacji budżetu pomiędzy sieciami, a nie tylko do audytu jednego kanału w izolacji. Wynik opisuje grupę odbiorców, okres i poziom wydatków, które zostały przetestowane.

Publiczne archiwa reklam nie pozwalają mierzyć incrementalności. Reklama obserwowana przez długi czas nie dowodzi, że spowodowała dodatkowe konwersje, ponieważ czas trwania reklamy odnotowuje, jak długo reklama była widoczna, a nie wydatki czy wyniki. Archiwa mogą natomiast dostarczać hipotez: strony inteligencji reklamowej OpenAdLibrary pokazują, jakich kreacji i sieci obserwuje się u danego reklamodawcy i od jak dawna, co może pomóc zdecydować, co przetestować we własnej grupie kontrolnej, zanim przeznaczysz budżet na testowy wydatek reklamowy.

Typowe błędy#

Grupa kontrolna musi być wystarczająco duża i przypisana losowo lub wystarczająco starannie dopasowana, aby wykryć rzeczywisty sygnał, a nie jedynie szum. Krótki test na kanale o niskim wolumenie może nie mieć wystarczającej liczby konwersji, aby wykryć efekt, a dokumentacja GeoLift firmy Meta ostrzega, że przeprowadzenie testu geo bez wcześniejszej analizy mocy wiąże się z wysokim ryzykiem nieznalezienia liftu, nawet gdy on istnieje. Sezonowy szczyt lub promocja całej witryny same w sobie nie unieważniają randomizowanego testu, ponieważ obie grupy ich doświadczają, ale zmierzony lift opisuje wtedy ten okres i może nie utrzymać się w zwykłych tygodniach. Zdarzenie, które dociera tylko do jednej grupy, takie jak promocja regionalna w teście geo, może zniekształcić wynik, więc utrzymuj inne działania marketingowe na stałym poziomie w regionach testowych i kontrolnych. Przeprowadzaj test w reprezentatywnym okresie obejmującym co najmniej jeden cykl zakupowy, określ wielkość grupy kontrolnej przy użyciu obliczenia mocy i nie przerywaj go wcześniej tylko dlatego, że pośredni wynik wygląda dobrze lub źle.