Test Geo Lift: Definicja i Jak Przeprowadzić

Test geo lift to eksperyment inkrementalnościowy, który włącza kanał reklamowy w niektórych regionach geograficznych i wyłącza go, lub zmniejsza poziom, w dopasowanych regionach kontrolnych, a następnie porównuje różnicę w konwersjach lub sprzedaży między dwiema grupami, aby zmierzyć rzeczywisty, przyczynowy wpływ kanału. To najczęstszy sposób testowania przyrostu na kanale, w którym nie można czysto losowo przydzielać reklam na poziomie pojedynczego użytkownika.

Jak projektowany jest test#

Zaczynasz od podzielenia docelowych regionów, stanów, DMA lub krajów w zależności od skali, na grupę testową i kontrolną, dopasowane tak ściśle, jak to możliwe pod względem cech takich jak populacja, historyczna wielkość sprzedaży, wcześniejsza reakcja na geo targeting, oraz sezonowość. Grupa testowa otrzymuje wydatki na reklamę; grupa kontrolna nie otrzymuje ich lub otrzymuje stałą bazę, podczas gdy grupa testowa dostaje zwiększenie. Po upływie ustalonego okresu, zazwyczaj od 4 do 8 tygodni w zależności od cyklu sprzedaży, porównujesz procentową zmianę w wybranej metryce między dwiema grupami. Różnica, skorygowana o wszelkie istniejące wcześniej różnice między regionami, jest Twoim szacowanym przyrostem.

Dlaczego na poziomie geo, a nie użytkownika#

Testy geo nie wymagają identyfikatora na poziomie indywidualnym, ponieważ porównujesz zagregowane wyniki dla całego regionu, a nie śledzisz ścieżki jednej osoby. To sprawia, że testy geo są przydatne dla kanałów, w których śledzenie indywidualne jest niepewne, oraz dla kanałów takich jak widgety native advertising wyświetlane na wielu niezależnych stronach wydawców, gdzie śledzenie na poziomie sesji jest problematyczne. To także standardowa metoda pomiaru kanałów, które nie mogą być wyłączone dla pojedynczego użytkownika bez wpływu na wszystkich w pobliżu, takich jak TV, radio i niektóre zakupy programatyczne realizowane przez demand-side platform.

Co może pójść nie tak#

Najczęstszą przyczyną niepowodzenia są źle dopasowane regiony kontrolne. Jeśli Twój region testowy ma inną sezonowość, inną obecność konkurencji lub inny trend wzrostu bazowego niż region kontrolny, „przyrost”, który mierzysz, może być jedynie szumem regionalnym, a nie efektem Twojego kanału reklamowego. Testy również potrzebują wystarczającej bazowej liczby konwersji w każdym regionie, aby wykryć rzeczywisty sygnał; test prowadzony w rynku z kilkoma sprzedażami tygodniowo będzie miał trudności z osiągnięciem istotności statystycznej, niezależnie od czasu trwania. Przeprowadzanie testu geo w trakcie firmowej promocji lub dużego sezonowego szczytu, takiego jak okres Black Friday, zanieczyszcza odczyt obu grup w równym stopniu.

Jak to się odnosi do innych pomiarów przyrostu#

Miększy, towarzyszący pomiar pyta o zmiany w świadomości lub sympatii poprzez ankiety, zamiast twardej liczby konwersji, i zazwyczaj odbywa się na poziomie wyświetleń, a nie geo. Modele statystyczne oparte na historycznych danych o ad spend i conversion tracking, uruchamiane ciągle we wszystkich kanałach jednocześnie, mogą włączać wyniki testu geo jako punkt kalibracji, kotwicząc model w rzeczywistym wyniku eksperymentalnym, zamiast polegać wyłącznie na historycznej korelacji.

Zanim przeznaczysz budżet na wielotygodniowy test geo w natywnym ad network, warto sprawdzić, jak duża jest objętość kreacji i jak długo te kreacje są zazwyczaj wyświetlane, zobaczyć ad longevity, które już działają w Twoich docelowych regionach. Narzędzia ad intelligence OpenAdLibrary rozkładają aktywność sieci według geo, co pomaga ustalić realistyczne oczekiwania co do tego, ile przyrostu dany rynek może faktycznie wygenerować.