A/B Testing (Διαφημίσεις)

Το A/B testing στη διαφήμιση σημαίνει να τρέχεις δύο παραλλαγές, μιας δημιουργικής διαφήμισης, επικεφαλίδας ή landing page, η μία εναντίον της άλλης υπό τις ίδιες συνθήκες για να μετρήσεις ποια αποδίδει καλύτερα σε έναν καθορισμένο δείκτη. Το όνομα προέρχεται από την επισήμανση των δύο εκδοχών ως Α και Β· όλα τα άλλα, το targeting, ο προϋπολογισμός, ο χρόνος, παραμένουν σταθερά, ώστε η διαφορά στα αποτελέσματα να μπορεί να αποδοθεί στο ένα πράγμα που άλλαξε.

Η βασική προϋπόθεση: μία μεταβλητή κάθε φορά#

Ένα καθαρό A/B test αλλάζει ακριβώς ένα στοιχείο μεταξύ των παραλλαγών. Το να δοκιμάζεις ταυτόχρονα μια νέα επικεφαλίδα, μια νέα εικόνα και μια νέα creative angle σου λέει αν ο συνδυασμός λειτούργησε ή όχι, αλλά όχι ποια συγκεκριμένη αλλαγή οδήγησε στο αποτέλεσμα. Στην πραγματικότητα, τα native ad tests συχνά γίνονται πιο χαοτικά από την θεωρητική εκδοχή επειδή οι διαφημιζόμενοι θέλουν να κινηθούν γρήγορα, αλλά το πιο καθαρό σήμα εξακολουθεί να προέρχεται από την απομόνωση μιας μεταβλητής.

Ποιος δείκτης αποφασίζει τον νικητή#

Ποιος δείκτης έχει σημασία εξαρτάται από τον στόχο. Ένα τεστ που βελτιστοποιεί μόνο για CTR μπορεί να επιλέξει έναν νικητή που παίρνει κλικ χωρίς να κάνει conversions, οπότε οι περισσότεροι έμπειροι διαφημιζόμενοι δίνουν μεγαλύτερο βάρος στο conversion rate ή στο CPA παρά στον ακατέργαστο όγκο κλικ. Η δοκιμή δημιουργικού περιεχομένου είναι η ευρύτερη πρακτική στην οποία εντάσσεται αυτό· το A/B testing είναι η συγκεκριμένη μέθοδος σύγκρισης ακριβώς δύο παραλλαγών κάθε φορά, έναντι της εκτέλεσης πολλών παραλλαγών ταυτόχρονα σε ένα πολυμεταβλητό τεστ.

Αποφυγή ψευδών νικητών#

Το πιο συνηθισμένο λάθος είναι να ανακηρύσσεται νικητής πριν το μέγεθος του δείγματος είναι αρκετά μεγάλο για να είναι στατιστικά αξιόπιστο, πράγμα που σημαίνει ότι το παρατηρούμενο χάσμα θα μπορούσε εύκολα να είναι τυχαίος θόρυβος και όχι πραγματική διαφορά. Μια παραλλαγή που «κερδίζει» μετά από σαράντα κλικ μπορεί εύκολα να αντιστραφεί μετά από τετρακόσια. Το να περιμένεις αρκετό όγκο και, ιδανικά, να τρέχεις το τεστ για περισσότερες από μία ημέρες για να εξομαλυνθούν τα εφέ της ημέρας της εβδομάδας, προστατεύει από το να αναπτύξεις προϋπολογισμό σε μια τυχαία επιτυχία.

Στην native διαφήμιση συγκεκριμένα#

Τα native δίκτυα όπως το Taboola, το Outbrain και το MGID συνήθως κάνουν A/B test σε επίπεδο δημιουργικού περιεχομένου μέσα σε μια ενιαία καμπάνια, αφήνοντας τον δικό τους αλγόριθμο της πλατφόρμας να διανέμει περισσότερες εντυπώσεις στον καλύτερο απόδοση αυτόματα μόλις συσσωρευτεί ένα αρκετό δείγμα. Οι διαφημιζόμενοι που ερευνούν πώς λειτουργούν οι διαφημίσεις Taboola ή πώς να διαφημιστείς στο Taboola θα συναντήσουν αυτό το ενσωματωμένο στρώμα δοκιμών απευθείας μέσα στην πλατφόρμα διαφημίσεων, πέρα από οποιαδήποτε χειροκίνητη δοκιμή κάνουν οι ίδιοι.

Το να βλέπεις ποιες παραλλαγές δημιουργικού περιεχομένου τρέχει ένας ανταγωνιστής παράλληλα είναι ένα από τα πιο ξεκάθαρα ζωντανά σήματα ενός A/B test σε εξέλιξη. Η πλατφόρμα ad intelligence του OpenAdLibrary αποκαλύπτει κάθε ενεργή παραλλαγή για μια μάρκα, ώστε να μπορείς να παρακολουθείς ποια επιβιώνει.

Ένας γρήγορος έλεγχος λογικής πριν ξεκινήσεις#

Πριν ξεκινήσεις οποιοδήποτε A/B test, επιβεβαίωσε ότι τα μαθηματικά του μεγέθους δείγματος έχουν κατά προσέγγιση νόημα για τον ημερήσιο προϋπολογισμό και το conversion rate της προσφοράς σου. Ένα τεστ που θα χρειαζόταν έξι εβδομάδες για να φτάσει σε ένα αξιόπιστο δείγμα με τα τρέχοντα επίπεδα δαπανών, πιθανότατα χρειάζεται μεγαλύτερη κατανομή προϋπολογισμού ή ένα μεγαλύτερο χρονικό παράθυρο δοκιμής που έχει προγραμματιστεί εκ των προτέρων, όχι μια απόφαση στη μέση του τεστ που λαμβάνεται από ανυπομονησία.