Στατιστική Σημαντικότητα (Δοκιμή Διαφημίσεων)

Η στατιστική σημαντικότητα στη δοκιμή διαφημίσεων σημαίνει ότι μια παρατηρούμενη διαφορά μεταξύ δύο παραλλαγών, στο CTR, στο ποσοστό μετατροπής, ή σε οποιαδήποτε άλλη μετρική, είναι απίθανο να είναι αποτέλεσμα τυχαιότητας και όχι ενός πραγματικού χάσματος απόδοσης. Απαντά στην ερώτηση που κάθε αγοραστής μέσων τελικά κάνει: η παραλλαγή Β είναι πραγματικά καλύτερη, ή απλά είχε τύχη με ένα μικρό δείγμα;

Γιατί τα μικρά δείγματα λένε ψέματα#

Με μόνο μια χούφτα κλικ ή μετατροπές, η τυχαία διακύμανση μπορεί εύκολα να κάνει μια μέτρια διαφήμιση να μοιάζει με νικήτρια για μια σύντομη περίοδο, και μια πραγματικά δυνατή διαφήμιση να μοιάζει με χαμένη. Ένας τίτλος που μετατρέπεται με πραγματικό ποσοστό 3% μπορεί να δείξει 0% ή 10% σε μόνο είκοσι επισκέπτες καθαρά από τύχη. Η δοκιμή σημαντικότητας ζυγίζει το μέγεθος του δείγματος, το ποσοστό μετατροπής και το μέγεθος του παρατηρούμενου χάσματος για να εκτιμήσει πόσο πιθανό είναι ένα αποτέλεσμα να διατηρηθεί καθώς φτάνει περισσότερη κίνηση.

Πώς οι αγοραστές την εφαρμόζουν χωρίς πτυχίο στατιστικής#

Οι περισσότεροι δεν κάνουν τους υπολογισμούς με το χέρι. Χρησιμοποιούν έναν δωρεάν υπολογιστή σημαντικότητας, εισάγουν επισκέπτες και μετατροπές για κάθε παραλλαγή και ελέγχουν αν το επίπεδο εμπιστοσύνης ξεπερνά ένα κατώφλι, συνήθως 90% ή 95%, πριν ανακηρύξουν νικήτρια. Ο πρακτικός κανόνας που βρίσκεται κάτω από όλα αυτά: περισσότερες μετατροπές, όχι απλώς περισσότερα κλικ, είναι αυτό που πραγματικά χτίζει εμπιστοσύνη. Μια δοκιμή με χιλιάδες κλικ αλλά μόνο μια χούφτα μετατροπών ανά παραλλαγή εξακολουθεί να μην είναι αξιόπιστη, ανεξάρτητα από το πόσο καιρό τρέχει.

Ένας πρακτικός εμπειρικός κανόνας#

Δεν υπάρχει καθολικό ελάχιστο μέγεθος δείγματος, εξαρτάται από το βασικό ποσοστό μετατροπής και το πόσο μεγάλη διαφορά προσπαθείτε να ανιχνεύσετε. Πολλοί αγοραστές αντιμετωπίζουν οτιδήποτε κάτω από μερικές δεκάδες μετατροπές ανά παραλλαγή ως πολύ ισχνό για να το εμπιστευτούν και περιμένουν ουσιαστικά περισσότερες πριν ανακατανείμουν σοβαρό προϋπολογισμό. Σε δίκτυα με χαμηλότερο όγκο όπως το Revcontent ή το MediaGo σε σύγκριση με ένα δίκτυο υψηλού όγκου όπως το Taboola, η επίτευξη ενός αξιόπιστου δείγματος μπορεί να πάρει αισθητά περισσότερο χρόνο, κάτι που αξίζει να ληφθεί υπόψη στο πόσο επιθετικά κόβετε τις υποαποδίδουσες παραλλαγές.

Γιατί έχει σημασία πέρα από τις δικές σας δοκιμές#

Η ίδια λογική ισχύει όταν κρίνετε μια διαφήμιση ενός ανταγωνιστή από έξω. Ένα δημιουργικό που τρέχει μόνο δύο μέρες σας λέει πολύ λιγότερα από ένα που επιβεβαιώνεται ότι τρέχει για εβδομάδες, γι' αυτό και η διάρκεια ζωής της διαφήμισης λειτουργεί ως ένας πρόχειρος εξωτερικός δείκτης: μια διαφήμιση που επιβιώνει τόσο πολύ πιθανότατα έχει ήδη ξεπεράσει το δικό της εσωτερικό κατώφλι σημαντικότητας, ακόμα κι αν δεν μπορείτε να δείτε τους πραγματικούς αριθμούς του διαφημιζόμενου. Το OpenAdLibrary καταγράφει πόσο καιρό κάθε συλλεγμένο δημιουργικό έχει παρατηρηθεί σε όλα τα δίκτυα, δίνοντάς σας αυτό το εξωτερικό σήμα χωρίς πρόσβαση στον πίνακα ελέγχου κανενός. Εξερευνήστε το μέσω της πλατφόρμας πληροφοριών διαφημίσεων.

Αυτός είναι επίσης ο λόγος για τον οποίο οι αγοραστές πρέπει να είναι επιφυλακτικοί απέναντι σε εντυπωσιακές μελέτες περιπτώσεων που ισχυρίζονται τεράστια αύξηση από μια μικρή δοκιμή. Μεγάλες ποσοστιαίες διακυμάνσεις σε μικρά δείγματα είναι ακριβώς αυτό που παράγει ο τυχαίος θόρυβος, και ένα γνήσιο αποτέλεσμα θα πρέπει να διατηρείται καθώς μεγαλώνει ο όγκος, όχι απλώς να εμφανίζεται μια φορά και να εξαφανίζεται.