Holdout Test (Advertising): Ορισμός & Χρήσεις

Ένα holdout test είναι ένας πειραματικός σχεδιασμός που αποκλείει μια διαφήμιση ή μια επέμβαση μάρκετινγκ από ένα μέρος του κοινού σας, την ομάδα holdout, ενώ το υπόλοιπο κοινό συνεχίζει να την λαμβάνει, και στη συνέχεια συγκρίνει τα αποτελέσματα μεταξύ των δύο ομάδων για να μετρήσει το πραγματικό αποτέλεσμα της επέμβασης. Είναι ο γενικός όρος για την ευρύτερη οικογένεια πειραμάτων αιτιατής μέτρησης που χρησιμοποιούνται στη διαφήμιση, καλύπτοντας τα πάντα από μια πλήρη περιφερειακή παύση έως μια στενή δοκιμή περιορισμού συχνότητας.

Οι βασικοί μηχανισμοί#

Διαχωρίστε το κοινό σας σε δύο ομάδες που είναι όσο το δυνατόν πιο όμοιες στα χαρακτηριστικά που προβλέπουν το μετρικό αποτελέσμα σας: προηγούμενη συμπεριφορά αγοράς, περιοχή, τύπος συσκευής, ό,τι έχει σημασία για την επιχείρησή σας. Η μία ομάδα, η holdout, δεν βλέπει διαφημίσεις (ή ένα δημόσιο μήνυμα στη θέση τους). η άλλη ομάδα βλέπει την καμπάνια κανονικά. Μετά από μια καθορισμένη περίοδο, συγκρίνετε το ποσοστό μετατροπής, τα έσοδα ή οποιοδήποτε μετρικό δοκιμάζετε μεταξύ των δύο ομάδων. Η διαφορά, προσαρμοσμένη για οποιοδήποτε βασικό χάσμα μεταξύ των ομάδων, είναι το επαυξητικό αποτέλεσμα της επέμβασης.

Γιατί οι πλατφόρμες το ενσωματώνουν#

Οι περισσότερες μεγάλες πλατφόρμες διαφημίσεων με self-serve demand-side platform προσφέρουν πλέον κάποια μορφή ενσωματωμένης δοκιμής conversion-lift ή holdout, επειδή οι διαφημιζόμενοι συνέχιζαν να κάνουν την ίδια ερώτηση που ο δικός τους πίνακας conversion tracking δεν μπορούσε να απαντήσει ειλικρινά: θα είχαν συμβεί αυτές οι μετατροπές έτσι κι αλλιώς; Ένας πίνακας που δείχνει έναν ισχυρό αριθμό ROAS αναφέρει συσχετισμένες μετατροπές, όχι απαραίτητα προκαλούμενες, και μόνο ένα γνήσιο holdout διαχωρίζει τα δύο.

Πού χρησιμοποιούνται τα holdout tests σε όλη την χωνί#

Ένα πλήρες κανάλι holdout παύει ένα ολόκληρο δίκτυο ή κανάλι για ένα υποσύνολο χρηστών ή περιοχών, ο σχεδιασμός πίσω από μια περιφερειακή δοκιμή ανόδου. Ένα holdout σε επίπεδο καμπάνιας παύει μια συγκεκριμένη καμπάνια ενώ άλλες συνεχίζουν, απομονώνοντας το αποτέλεσμα εκείνης της καμπάνιας από τη βασική γραμμή του καναλιού. Ένα holdout συχνότητας περιορίζει πόσες φορές ένας χρήστης βλέπει μια διαφήμιση και στη συνέχεια συγκρίνει τα αποτελέσματα με μια ομάδα χωρίς περιορισμό, χρήσιμο για τη μέτρηση της creative fatigue και των φθινουσών αποδόσεων.

Πρακτικοί περιορισμοί#

Η εκτέλεση ενός holdout test σημαίνει ότι σκοπίμως δεν εμφανίζονται διαφημίσεις σε ορισμένους πραγματικούς, προσδιορίσιμους πελάτες για τη διάρκεια της δοκιμής, κάτι που έχει ένα πραγματικό βραχυπρόθεσμο κόστος. Αυτό είναι το tradeoff που αποδέχεται κάθε ομάδα που στοχεύει στην επαυξητικότητα: θυσιάζει κάποια βραχυπρόθεσμη εμβέλεια και έσοδα σε αντάλλαγμα για μια αξιόπιστη απάντηση σχετικά με το αν η δαπάνη λειτουργεί πραγματικά. Το μέγεθος του δείγματος έχει επίσης σημασία. Ένα holdout χρειάζεται αρκετό όγκο και στις δύο ομάδες για να ανιχνεύσει μια στατιστικά σημαντική διαφορά. Η δοκιμή ενός καναλιού με χαμηλή κίνηση ή μιας σύντομης καμπάνιας συχνά παράγει απλώς θόρυβο μεταμφιεσμένο ως αποτέλεσμα.

Ανάγνωση του αποτελέσματος σωστά#

Ένα μηδενικό αποτέλεσμα, χωρίς σημαντική διαφορά μεταξύ εκτεθειμένων και ομάδων holdout, είναι ένα πραγματικό εύρημα, όχι μια αποτυχημένη δοκιμή. Σημαίνει ότι το κανάλι, τουλάχιστον για εκείνο το κοινό και εκείνη την περίοδο, δεν προσέφερε επαυξητική αξία πέρα από αυτό που θα είχε συμβεί έτσι κι αλλιώς. Πριν κλιμακώσετε ένα κανάλι με βάση ισχυρούς αναφερόμενους αριθμούς, ελέγξτε αν οι ανταγωνιστές στον τομέα σας τρέχουν επίσης υψηλές ad spend εκεί, καθώς ένα κανάλι γεμάτο με μακροχρόνια δημιουργικά, δείτε ad longevity, είναι ένας λογικός δείκτης για ένα όπου τα holdout tests τείνουν να επιβεβαιώνουν πραγματική άνοδο. Η πλατφόρμα ad intelligence του OpenAdLibrary σας επιτρέπει να ελέγξετε αυτήν τη δραστηριότητα ανά δίκτυο και τομέα πριν δεσμεύσετε τον προϋπολογισμό δοκιμής.