Δοκιμές Αυξητικότητας: Ορισμός & Πώς Λειτουργούν

Η δοκιμή αυξητικότητας είναι ένα ελεγχόμενο πείραμα που εκτιμά πόση από τη δραστηριότητα μετατροπών που αναφέρεται για ένα κανάλι διαφήμισης προκλήθηκε πραγματικά από τη διαφήμιση, αντί να βασίζεται στις μετατροπές που το tracking της πλατφόρμας αποδίδει στις διαφημίσεις της. Κρατάτε πίσω μια ομάδα χρηστών ή γεωγραφικών περιοχών από το να δουν τις διαφημίσεις ενός συγκεκριμένου καναλιού και στη συνέχεια συγκρίνετε το αποτέλεσμα με μια ομάδα που τις είδε. Μια καλά σχεδιασμένη δοκιμή διαβάζει το κενό μεταξύ των ομάδων ως εκτίμηση της αυξητικής επίδρασης του καναλιού για αυτό το κοινό, την περίοδο και τη ρύθμιση, με αναφορά της αβεβαιότητάς της· τα αποτελέσματα που παραμένουν στην ομάδα αναμονής είναι αυτά που συνέβησαν χωρίς τις διαφημίσεις.

Γιατί οι αριθμοί που αναφέρουν οι πλατφόρμες μπορεί να διαφέρουν από τα αυξητικά αποτελέσματα#

Οι πλατφόρμες διαφήμισης αποδίδουν μετατροπές στις διαφημίσεις χρησιμοποιώντας τους δικούς τους κανόνες. Αν κάποιος επρόκειτο ήδη να αγοράσει μέσω οργανικής αναζήτησης ή ενός branded search click, και επίσης τυχαία είδε μια διαφήμιση retargeting κατά τη διαδρομή, το τυπικό conversion tracking μπορεί ακόμα να πιστώσει αυτή τη διαφήμιση μέσα στο attribution window της. Η πιο αόριστη πίστωση, όπου μια πλατφόρμα μετρά μια μετατροπή αφού κάποιος απλώς είδε μια διαφήμιση, προστίθεται στο κενό· αυτός ο μηχανισμός ονομάζεται view-through attribution. Επομένως, οι μετατροπές που αναφέρει μια πλατφόρμα δεν είναι το ίδιο πράγμα με τις μετατροπές που προκάλεσαν οι διαφημίσεις της. Η δοκιμή αυξητικότητας θέτει ένα διαφορετικό ερώτημα: αν αυτό το κανάλι δεν είχε διαφημιστεί, θα συνέβαινε η μετατροπή ούτως ή άλλως;

Αυτό είναι ένα διαφορετικό ερώτημα από αυτό που απαντά ένα tracking pixel από μόνο του, γι' αυτό οι δοκιμές αυξητικότητας χρησιμοποιούνται παράλληλα με τα dashboards των πλατφορμών, όχι αντ' αυτών.

Πώς το εφαρμόζουν οι ομάδες στην πράξη#

Χρησιμοποιούνται αρκετά σχέδια. Μια δοκιμή γεωγραφικού επιπέδου αναθέτει περιοχές σε συνθήκη δοκιμής ή αναμονής, για παράδειγμα εκτελώντας τις διαφημίσεις ενός καναλιού σε ορισμένες περιοχές και αποκλείοντας τις σε άλλες, και συγκρίνει αποτελέσματα όπως πωλήσεις ή μετατροπές μεταξύ των περιοχών· τα geo experiments της Google αναθέτουν τυχαία μη επικαλυπτόμενες περιοχές, ενώ το GeoLift της Meta κατασκευάζει ένα συνθετικό control από περιοχές που δεν έλαβαν διαφημίσεις. Μια δοκιμή επιπέδου χρήστη χρησιμοποιεί τα εργαλεία conversion-lift μιας πλατφόρμας διαφήμισης: το Conversion Lift της Meta αναθέτει τυχαία άτομα σε μια ομάδα δοκιμής που βλέπει τις διαφημίσεις και σε μια ομάδα ελέγχου που δεν τις βλέπει, και το Google Ads Conversion Lift προσφέρει μελέτες βάσει χρηστών και βάσει γεωγραφίας, αν και η Google αναφέρει ότι δεν είναι διαθέσιμο για όλους τους λογαριασμούς.

Το πώς εκτιμάται η επίδραση εξαρτάται από το σχέδιο. Σε μια τυχαιοποιημένη δοκιμή επιπέδου χρήστη, η εκτίμηση είναι η διαφορά στα αποτελέσματα μεταξύ της ομάδας δοκιμής και της ομάδας αναμονής, η οποία μπορεί να αναφερθεί ως επιπλέον μετατροπές ή ως ποσοστό πάνω από την ομάδα αναμονής. Ως υποθετικό παράδειγμα, αν 10,000 χρήστες δοκιμής παράγουν 300 μετατροπές και 10,000 χρήστες αναμονής παράγουν 250, η εκτιμώμενη αύξηση είναι 50 μετατροπές, ή 20% πάνω από την ομάδα αναμονής, ακόμα κι αν η πλατφόρμα απέδωσε και τις 300 μετατροπές στις διαφημίσεις της. Οι geo δοκιμές συνήθως δεν βασίζονται σε αυτή την απλή αφαίρεση: συγκρίνουν τις περιοχές που δέχθηκαν διαφημίσεις με αυτό που ένα μοντέλο, όπως ένα συνθετικό control από περιοχές χωρίς διαφημίσεις, λέει ότι θα είχαν παράγει χωρίς τις διαφημίσεις. Ένα κανάλι με ισχυρό αυτοαναφερόμενο ROAS μπορεί να δείχνει πολύ μικρότερη αυξητική επίδραση σε μια δοκιμή· το πόσο μεγάλο είναι το κενό εξαρτάται από το κανάλι, το κοινό και το παράθυρο μέτρησης.

Για τι χρησιμοποιείται#

Οι media buyers χρησιμοποιούν τις δοκιμές αυξητικότητας για να ενημερώσουν την κατανομή του προϋπολογισμού ανά δίκτυα, όχι μόνο για να ελέγξουν ένα κανάλι μεμονωμένα. Ένα αποτέλεσμα περιγράφει το κοινό, την περίοδο και το επίπεδο δαπάνης που δοκιμάστηκαν.

Τα δημόσια αρχεία διαφημίσεων δεν μπορούν να μετρήσουν την αυξητικότητα. Μια διαφήμιση που παρατηρήθηκε για μεγάλο χρονικό διάστημα δεν δείχνει ότι προκάλεσε επιπλέον μετατροπές, επειδή το ad longevity καταγράφει πόσο καιρό έγινε αντιληπτή μια διαφήμιση, όχι τη δαπάνη ή τα αποτελέσματα. Αυτό που μπορούν να προσφέρουν τα αρχεία είναι υποθέσεις: οι σελίδες ad intelligence του OpenAdLibrary δείχνουν ποια δημιουργικά και δίκτυα έχει παρατηρηθεί να χρησιμοποιεί ένας διαφημιζόμενος, και για πόσο καιρό, κάτι που μπορεί να σας βοηθήσει να αποφασίσετε τι θα δοκιμάσετε με τη δική σας ομάδα αναμονής πριν δεσμεύσετε ad spend δοκιμής.

Συχνά λάθη#

Η ομάδα αναμονής πρέπει να είναι αρκετά μεγάλη, και να έχει ανατεθεί τυχαία ή να έχει αντιστοιχιστεί αρκετά προσεκτικά, ώστε να ανιχνεύσει ένα πραγματικό σήμα και όχι απλώς θόρυβο. Μια σύντομη δοκιμή σε ένα κανάλι χαμηλού όγκου μπορεί να μην έχει αρκετές μετατροπές για να ανιχνεύσει μια επίδραση, και η τεκμηρίωση του GeoLift της Meta προειδοποιεί ότι η εκτέλεση μιας geo δοκιμής χωρίς προηγούμενη ανάλυση ισχύος οδηγεί σε υψηλή πιθανότητα αποτυχίας εύρεσης αύξησης ακόμα και όταν αυτή υπάρχει. Μια εποχιακή κορύφωση ή μια site-wide promotion δεν ακυρώνει από μόνη της μια τυχαιοποιημένη δοκιμή, επειδή και οι δύο ομάδες την βιώνουν, αλλά η μετρούμενη αύξηση τότε περιγράφει εκείνη την περίοδο και μπορεί να μην ισχύει σε κανονικές εβδομάδες. Ένα γεγονός που φτάνει μόνο σε μία ομάδα, όπως μια περιφερειακή προώθηση σε μια geo δοκιμή, μπορεί να προκαλέσει μεροληψία στο αποτέλεσμα, γι' αυτό κρατήστε το υπόλοιπο μάρκετινγκ σταθερό μεταξύ των περιοχών δοκιμής και ελέγχου. Εκτελέστε τη δοκιμή κατά τη διάρκεια μιας αντιπροσωπευτικής περιόδου που καλύπτει τουλάχιστον έναν κύκλο αγοράς, προσδιορίστε το μέγεθος της ομάδας αναμονής με έναν υπολογισμό ισχύος και μην σταματήσετε νωρίς μόνο επειδή ο ενδιάμεσος αριθμός φαίνεται καλός ή κακός.