Champion / Challenger Testing

Το champion/challenger testing είναι μια μέθοδος σε πραγματικό traffic για να αποφασίσετε εάν ένα νέο διαφημιστικό, τίτλος ή ρύθμιση προσφορών (ο "challenger") νικά πραγματικά τον τρέχοντα καλύτερο performer σας (τον "champion") πριν τον αντικαταστήσετε. Αντί να κάνετε δοκιμές τυφλά, διατηρείτε τον αποδεδειγμένο νικητή σας εν λειτουργία και διαχωρίζετε ένα τμήμα του traffic στον challenger, έπειτα συγκρίνετε τα αποτελέσματα υπό πανομοιότυπες συνθήκες αγοράς.

Από πού προέρχεται το όνομα#

Ο όρος είναι παλαιότερος από την ψηφιακή διαφήμιση. Οι επαγγελματίες μάρκετινγκ απευθείας αλληλογραφίας και αργότερα τράπεζες και ασφαλιστικές εταιρείες χρησιμοποιούσαν το champion/challenger για να περιγράψουν πώς μια προσφορά ελέγχου (ο champion) υπερασπιζόταν τη θέση της έναντι νέων challengers, υποχωρώντας μόνο όταν ένας challenger αποδεικνυόταν σε πραγματικά δεδομένα απόκρισης. Οι πλατφόρμες εγγενών και κοινωνικών διαφημίσεων δανείστηκαν την ίδια λογική γιατί λύνει ένα πραγματικό πρόβλημα: τα καθαρά A/B tests αντιμετωπίζουν κάθε διαφήμιση ως μη αποδεδειγμένη, αλλά στην πράξη σχεδόν πάντα έχετε ένα υπάρχον δημιουργικό περιεχόμενο διαφήμισης που ήδη φέρνει μετατροπές.

Πώς λειτουργεί σε μια εγγενή καμπάνια#

Ας υποθέσουμε ότι έχετε έναν τίτλο που τρέχει κερδοφόρα στο Taboola για τρεις εβδομάδες. Αντί να τον παύσετε για να δοκιμάσετε πέντε νέα hooks ισομερώς, διατηρείτε τον champion να λαμβάνει το μεγαλύτερο μέρος του προϋπολογισμού και δρομολογείτε ένα μικρότερο, σταθερό μερίδιο του traffic σε έναν ή δύο challengers. Παρακολουθείτε το κόστος ανά απόκτηση και το ποσοστό μετατροπής σε ένα αρκετά μεγάλο δείγμα για να εμπιστευτείτε τους αριθμούς, όχι μόνο για μια ή δύο μέρες. Εάν ένας challenger νικήσει τον champion με ένα σημαντικό περιθώριο, γίνεται ο νέος champion και ο κύκλος επαναλαμβάνεται. Εάν όχι, τον σταματάτε και δοκιμάζετε την επόμενη ιδέα, και ο αρχικός συνεχίζει να αποδίδει όλο αυτό το διάστημα.

Αυτό έχει μεγαλύτερη σημασία σε δίκτυα των οποίων οι αλγόριθμοι smart bidding χρειάζονται όγκο και χρόνο για βελτιστοποίηση. Η συνεχής αντικατάσταση της καλύτερα αποδίδουσας διαφήμισής σας επαναφέρει αυτή τη βελτιστοποίηση και μπορεί επίσης να προκαλέσει μια νέα φάση μάθησης για τον αλγόριθμο, οπότε η προστασία του champion δεν είναι απλώς συντηρητική, συχνά είναι και η ταχύτερη διαδρομή για τη συνολική απόδοση του λογαριασμού, μια δυναμική που καλύπτεται πιο διεξοδικά στο πώς λειτουργούν οι διαφημίσεις Taboola.

Champion/challenger έναντι καθαρού A/B testing#

Το A/B testing συνήθως υπονοεί δύο άγνωστα που ανταγωνίζονται από ψυχρή εκκίνηση με ισομερή διαχωρισμό. Το champion/challenger υποθέτει ότι η μία πλευρά έχει ήδη ένα ιστορικό, οπότε ο διαχωρισμός είναι συχνά άνισος (π.χ. 80/20 ή 90/10) και το όριο για να κερδίσει ο challenger είναι υψηλότερο, αφού δεν ψάχνετε απλώς για "καλύτερο", ψάχνετε για "καλύτερο από κάτι ήδη αποδεδειγμένο." Οι αγοραστές που ερευνούν πώς να βρουν νικηφόρες διαφημίσεις σε έναν τομέα θα αναγνωρίσουν το ίδιο ένστικτο: ένα μακροχρόνιο δημιουργικό περιεχόμενο ανταγωνιστή είναι πιθανότατα ο τρέχων champion εκείνου του διαφημιστή, και νέες παραλλαγές που τον βλέπετε να δοκιμάζει μπορεί να είναι challengers που βάζει σε οντισιόν εναντίον του.

Χρήση ανταγωνιστικών δεδομένων για την προετοιμασία challengers#

Μια πρακτική χρήση του champion/challenger εκτός του δικού σας λογαριασμού είναι η εξαγωγή από ό,τι ήδη επιβιώνει αλλού. Εάν μια διαφήμιση ανταγωνιστή έχει παρατηρηθεί να τρέχει για εβδομάδες σε Outbrain ή MGID, πιθανότατα έχει επιβιώσει από τους δικούς της εσωτερικούς γύρους challenger. Η μελέτη του hook και της γωνίας της σας δίνει έναν πιο ισχυρό challenger εκκίνησης από μια τυφλή εικασία, που είναι μέρος του γιατί τα εργαλεία ad intelligence του OpenAdLibrary υπάρχουν: δείχνουν για πόσο καιρό έχουν παρατηρηθεί να τρέχουν δημιουργικά περιεχόμενα σε όλη την αγορά, μια χονδρική ένδειξη για το ποια έχουν κρατήσει τη θέση τους, πριν ξοδέψετε προϋπολογισμό για να το ανακαλύψετε μόνοι σας.

Συχνά λάθη#

Οι δύο τρόποι αποτυχίας είναι η ανακήρυξη νικητή πολύ νωρίς, πριν το μέγεθος του δείγματος το υποστηρίξει, και το να μην αποσύρεται ποτέ ένας champion ακόμα και όταν ένας challenger έχει ξεκάθαρα ξεπεράσει την απόδοσή του για συναισθηματικούς ή τεμπέλικους λόγους. Και τα δύο σπαταλούν προϋπολογισμό. Ένας γραπτός κανόνας (για παράδειγμα, ένα ελάχιστο ποσό δαπανών ή αριθμός μετατροπών πριν τη σύγκριση αποτελεσμάτων, και μια αυτόματη εναλλαγή μόλις διασχιστεί αυτό το όριο) αφαιρεί την εικασία και τον πειρασμό να κρίνετε με το μάτι θορυβώδεις πρώιμους αριθμούς.