OpenAdLibraryOpenAdLibrary
Δημιουργικό Περιεχόμενο & Διαδρομές Μετατροπής

Πόσο να τρέξεις ένα A/B test διαφημίσεων: Ο υπολογισμός του δείγματος σε πρακτική μορφή

Η διάρκεια ενός A/B test είναι αριθμητική, όχι λαϊκή σοφία: το απαιτούμενο δείγμα διαιρεμένο με τις αναμενόμενες ημερήσιες παρατηρήσεις. Τα μαθηματικά του μεγέθους δείγματος σε χρηστική μορφή, συν η υστέρηση μετατροπών, οι κανόνες διακοπής, και γιατί κανένα ημερολογιακό ελάχιστο ή μέγιστο όριο δεν ταιριάζει σε κάθε test.

Εικονογραφημένη απεικόνιση: Πόσο να τρέξεις ένα A/B test διαφημίσεων: Ο υπολογισμός του δείγματος σε πρακτική μορφή

Σχεδίασε τη διάρκεια με βάση τη μονάδα του πειράματος, το βασικό ποσοστό, το μέγεθος επίδρασης που αξίζει να ανιχνευθεί, την ανοχή σφάλματος, την κατανομή και τις αναμενόμενες παρατηρήσεις ανά ημέρα. Λάβε επίσης υπόψη την υστέρηση μετατροπών και τους σχετικούς κύκλους. Δεν υπάρχει καθολικό όριο αριθμού μετατροπών ή ημερολογιακό όριο που να κάνει κάθε test διαφημίσεων οριστικό.

Η διάρκεια είναι αποτέλεσμα, όχι ημερολογιακή επιλογή#

Οι αναμενόμενες παρατηρήσεις ανά παραλλαγή επηρεάζουν τον χρόνο που απαιτείται για να φτάσεις σε ένα προγραμματισμένο δείγμα. Οι αριθμοί μετατροπών από μόνοι τους δεν καθορίζουν το απαιτούμενο δείγμα: προσδιόρισε το βασικό ποσοστό, το μέγεθος επίδρασης, τον σχεδιασμό και τις παραδοχές αβεβαιότητας.

  • Το βασικό ποσοστό του μετρικού που δοκιμάζεις — CTR για δημιουργίες, ποσοστό μετατροπών για landing pages και προσφορές.
  • Η μικρότερη διαφορά που αξίζει να ανιχνευθεί. Η ανίχνευση μιας βελτίωσης 10% κοστίζει πολύ περισσότερη κίνηση από την ανίχνευση μιας βελτίωσης 50%, και οι περισσότερες μικρές βελτιώσεις δεν αξίζουν τη δαπάνη που απαιτείται για να τις δεις.
  • Ημερήσιος όγκος ανά παραλλαγή — καθορίζεται από το budget και τις προσφορές σου.

Εκτίμησε τις απαιτούμενες παρατηρήσεις υπό τον σχεδιασμό που επέλεξες και διαίρεσέ τις με τις αναμενόμενες παρατηρήσεις ανά παραλλαγή ανά ημέρα. Έλεγξε αν το προκύπτον διάστημα παραμένει σχετικό· μια διάρκεια τεσσάρων εβδομάδων δεν είναι αυτόματα όριο ακυρότητας.

Τα μαθηματικά του μεγέθους δείγματος, χωρίς το πτυχίο στατιστικής#

Μια πρόχειρη προσέγγιση σχεδιασμού για δύο ανεξάρτητες αναλογίες χρησιμοποιεί ίση κατανομή, σταθερό ορίζοντα, αμφίπλευρο επίπεδο σημαντικότητας 5% και ισχύ 80%:

n ανά παραλλαγή ≈ 16 × p × (1 − p) ÷ d²

Εδώ το p είναι το υποτιθέμενο βασικό ποσοστό του γεγονότος και το d είναι μια απόλυτη διαφορά ποσοστού. Το αποτέλεσμα μετρά παρατηρήσεις ανά παραλλαγή, όπως εμφανίσεις ή επιλέξιμες επισκέψεις, όχι μετατροπές. Η προσέγγιση χρειάζεται έλεγχο για σπάνια αποτελέσματα, άνιση κατανομή, επαναλαμβανόμενους χρήστες, ομαδοποίηση και άλλες αποκλίσεις από τον σχεδιασμό.

Υποθετικοί υπολογισμοί: p=0.005 και d=0.001 δίνουν περίπου 79,600 εμφανίσεις ανά παραλλαγή. p=0.02 και d=0.005 δίνουν περίπου 12,544 επιλέξιμες επισκέψεις ανά παραλλαγή. Αν κάθε τέτοια επίσκεψη κοστίζει US$0.40, οι δύο ομάδες κοστίζουν περίπου US$10,035 σε μέσα πριν από άλλα κόστη. Αυτά είναι σενάρια σχεδιασμού, όχι κλαδικά σημεία αναφοράς ή υποσχέσεις στατιστικής σημαντικότητας.

Τι δοκιμάζεις Βασικό ποσοστό Βελτίωση προς ανίχνευση Δείγμα ανά παραλλαγή
CTR (δημιουργία) 0.5% 20% σχετική ~80,000 εμφανίσεις
CTR (δημιουργία) 0.5% 50% σχετική ~13,000 εμφανίσεις
CVR (lander) 2% 25% σχετική ~12,500 κλικ
CVR (lander) 2% 50% σχετική ~3,100 κλικ
CVR (σελίδα προσφοράς) 5% 25% σχετική ~4,900 κλικ

Με αυτή την προσέγγιση, το να μειώσεις στο μισό το d τετραπλασιάζει το προγραμματισμένο δείγμα. Το CTR και το ποσοστό μετατροπών απαντούν σε διαφορετικά ερωτήματα: μια βελτίωση του CTR δεν συνεπάγεται απαραίτητα βελτίωση της συνεισφοράς ή του κόστους απόκτησης. Διάλεξε μετρικά και φράγματα γύρω από την απόφαση, αντί να υποθέτεις ότι το test σε επίπεδο εμφανίσεων είναι πάντα φθηνότερο ή επαρκές.

Λάβε υπόψη τους σχετικούς κύκλους και την υστέρηση μετατροπών#

Διάλεξε ένα παράθυρο που αντιπροσωπεύει τη σχετική κίνηση και επιτρέπει στα καθυστερημένα αποτελέσματα να ωριμάσουν. Τα εβδομαδιαία μοτίβα μπορεί να έχουν σημασία, αλλά οι επτά ημέρες δεν είναι ούτε καθολικό ελάχιστο ούτε απόδειξη ότι ο σχεδιασμός είναι αντιπροσωπευτικός.

Το μέγιστο όριο: τα μακρά tests σαπίζουν από μέσα#

Μεγαλύτερα διαστήματα μπορούν να εισάγουν μεταβαλλόμενες συνθήκες, αλλά ένα test δεν παύει αυτόματα να είναι ελεγχόμενο μετά από τρεις ή τέσσερις εβδομάδες. Αξιολόγησε την τυχαιοποίηση, την ταυτόχρονη έκθεση, τη μετατόπιση, τα καθυστερημένα αποτελέσματα και την πρακτική σχετικότητα· αναθεώρησε τον σχεδιασμό αν χρειάζεται.

Μην κρυφοκοιτάς — ή τουλάχιστον μην ενεργείς με βάση κρυφοκοιτάγματα#

Ο επανειλημμένος έλεγχος ενός test σταθερού ορίζοντα και η διακοπή στο πρώτο ευνοϊκό αποτέλεσμα σημαντικότητας μπορεί να αλλάξει το ποσοστό σφάλματός του. Προσδιόρισε εκ των προτέρων τον σχεδιασμό και την ανάλυση, ή χρησιμοποίησε μια κατάλληλη διαδοχική μέθοδο. Οι επιχειρησιακές συνθήκες διακοπής διαφέρουν από τη δήλωση στατιστικής επιτυχίας.

Κανόνες διακοπής για όταν δεν μπορείς να αντέξεις τη στατιστική σημαντικότητα#

Οι περισσότεροι αγοραστές native και affiliate δεν μπορούν να χρηματοδοτήσουν 12,500 κλικ ανά παραλλαγή, και το να προσποιείσαι διαφορετικά παράγει ψεύτικη αυστηρότητα. Η ειλικρινής εναλλακτική είναι σταδιακός αποκλεισμός — πιο πρόχειρος από τη στατιστική δοκιμή σημαντικότητας, και τυπική πρακτική μεταξύ αγοραστών που δοκιμάζουν δεκάδες δημιουργίες τον μήνα:

Ένας οικονομικός κανόνας διακοπής μπορεί να περιορίσει την έκθεση αλλά δεν τεκμηριώνει στατιστική σημαντικότητα. Αν φιλτράρεις παραλλαγές πριν από ένα επιβεβαιωτικό test, λάβε υπόψη την επιλογή και τις πολλαπλές συγκρίσεις και χρησιμοποίησε νέα, κατάλληλα σχεδιασμένα στοιχεία για την τελική απόφαση. Ένας κανόνας 2–3× CPA ή μερικές χιλιάδες εμφανίσεις δεν αποτελούν καθολική επικύρωση.

Χρησιμοποίησε τις παρατηρήσεις των ανταγωνιστών για να σχηματίσεις υποθέσεις#

Οι καταγραφές των ανταγωνιστών μπορούν να υποδείξουν υποθέσεις για δημιουργίες. Ένα διάστημα παρατήρησης 30 ημερών δεν τεκμηριώνει ότι ένας ανταγωνιστής πέρασε έναν έλεγχο κερδοφορίας, και η επιλογή μιας οικείας γωνίας δεν μειώνει το δείγμα που απαιτείται για τον στατιστικό σχεδιασμό που επέλεξες.

Ένα λεπτομερές παράδειγμα, από την αρχή ως το τέλος#

Ας πούμε ότι τρέχεις μια προσφορά lead-gen με πληρωμή $60 με μία καμπάνια που κάνει περίπου 1,500 κλικ την ημέρα στις δοκιμαστικές σου ομάδες.

Σε ένα υποθετικό test ίσης κατανομής με p=0.03 και d=0.009, η προσέγγιση δίνει περίπου 5,748 επιλέξιμες επισκέψεις ανά ομάδα. Με 1,500 συνολικές επιλέξιμες επισκέψεις την ημέρα, η συλλογή και των δύο ομάδων παίρνει περίπου 7.7 ημέρες πριν συνυπολογιστούν η καθυστέρηση, οι κύκλοι ή άλλες απαιτήσεις του σχεδιασμού. Ένα προηγούμενο στάδιο αποκλεισμού δεν εγγυάται έναν υπερασπίσιμο νικητή μετά από 10–12 ημέρες.

Μια προγραμματισμένη διάρκεια συνδυάζει τις απαιτήσεις δείγματος με την αναμενόμενη επιλέξιμη κίνηση και τον χρονισμό των αποτελεσμάτων. Δεν αποτελεί εγγύηση ότι το πείραμα θα παραγάγει έναν στατιστικά ή εμπορικά καθοριστικό νικητή.

Συχνές ερωτήσεις

Πόσες μετατροπές χρειάζομαι ανά παραλλαγή σε ένα A/B test διαφημίσεων;
Οι απαιτούμενες παρατηρήσεις εξαρτώνται από το βασικό ποσοστό, το απόλυτο μέγεθος επίδρασης, την ισχύ, την ανοχή σφάλματος και τον σχεδιασμό. Ο τύπος που εμφανίζεται είναι μια πρόχειρη προσέγγιση για ανεξάρτητες αναλογίες, όχι ένας ακριβής κανόνας αριθμού μετατροπών.
Είναι αρκετές 3 ημέρες για να τρέξω ένα A/B test διαφημίσεων;
Εξαρτάται από τον σχεδιασμό, την επιλέξιμη κίνηση, τους σχετικούς κύκλους και την καθυστέρηση του αποτελέσματος. Οι τρεις ημέρες μπορεί να είναι πολύ λίγες για ένα συγκεκριμένο ερώτημα, αλλά οι επτά ημέρες δεν είναι ένα καθολικό όριο εγκυρότητας.
Πρέπει να δοκιμάζω διαφημίσεις στο CTR ή στο ποσοστό μετατροπών;
Διάλεξε το μετρικό για την απόφαση και συμπεριέλαβε φράγματα για τα επόμενα στάδια. Το CTR και το ποσοστό μετατροπών απαντούν σε διαφορετικά ερωτήματα· αυτό το άρθρο δεν τεκμηριώνει μια καθολική διαφορά κόστους 10–100×.
Τι συμβαίνει αν σταματήσω ένα A/B test μόλις φτάσει στατιστική σημαντικότητα;
Αυξάνεις δραματικά το ποσοστό των ψευδώς θετικών αποτελεσμάτων. Ο έλεγχος καθημερινά και η διακοπή στην πρώτη σημαντική ανάγνωση σημαίνει ότι πολλοί «νικητές» είναι θόρυβος που θα είχε υποχωρήσει με περισσότερα δεδομένα — το κλασικό πρόβλημα του «κρυφοκοιτάγματος». Προσδιορίσε εκ των προτέρων το μέγεθος του δείγματος, χρησιμοποίησε καθημερινούς ελέγχους μόνο για συνθήκες stop-loss όπως σπασμένο tracking ή ανεξέλεγκτη δαπάνη, και αξιολόγησε μία φορά όταν το δείγμα είναι πλήρες.
Γιατί η νικήτρια παραλλαγή της διαφήμισης μου σταμάτησε να κερδίζει μετά το test;
Οι πιθανές εξηγήσεις περιλαμβάνουν την αβεβαιότητα, την προκατάληψη επιλογής, τη μεταβαλλόμενη κίνηση, τα καθυστερημένα αποτελέσματα και πραγματικές αλλαγές στην απόδοση. Το άρθρο δεν έχει τεκμηριώσει μια συνήθη αιτία· εξέτασε τον σχεδιασμό και τα επόμενα δεδομένα.
Η Ομάδα του OpenAdLibrary
Συντάχθηκε απόΗ Ομάδα του OpenAdLibrary
Έρευνα για διαφημιστική νοημοσύνη και native διαφημίσεις

Δημιουργούμε το OpenAdLibrary, την ανοιχτή πλατφόρμα διαφανειας διαφημίσεων. Κάθε μέρα τα συστήματά μας καταγράφουν ζωντανές native διαφημίσεις σε Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo και MSN, αναγνωρίζουν τον πραγματικό διαφημιστή πίσω από κάθε μία και ακολουθούν το κλικ μέχρι τη σελίδα προορισμού. Αυτοί οι οδηγοι συνοψίζουν ό,τι βλέπουμε σε αυτά τα δεδομένα ώστε να μπορείτε να ερευνήσετε την αγορά πιο γρήγορα.