מובהקות סטטיסטית (בדיקת מודעות)

מובהקות סטטיסטית בבדיקת מודעות משמעה שפער שנצפה בין שתי גרסאות, ב-CTR, שיעור המרה, או כל מדד אחר, אינו סביר שהוא תוצאה של מקרה אקראי, אלא מייצג פער אמיתי בביצועים. היא עונה על השאלה שכל קונה מדיה שואל בסופו של דבר: האם גרסה B באמת טובה יותר, או שהיא פשוט זכתה במזל עם מדגם קטן?

למה מדגמים קטנים משקרים#

עם רק קומץ קליקים או המרות, שונות אקראית יכולה בקלות לגרום למודעה בינונית להיראות כמנצחת לפרק זמן קצר, ולמודעה חזקה באמת להיראות כמפסידה. כותרת שממירה בשיעור אמיתי של 3% יכולה להציג 0% או 10% על פני עשרים מבקרים בלבד, באופן אקראי לחלוטין. בדיקת מובהקות שוקלת את גודל המדגם, שיעור ההמרה וגודל הפער שנצפה כדי להעריך כמה סביר שתוצאה תישאר יציבה ככל שיגיע יותר תעבורה.

איך קונים מיישמים את זה בלי תואר בסטטיסטיקה#

רובם לא מחשבים את המתמטיקה ידנית. הם משתמשים במחשבון מובהקות חינמי, מזינים מבקרים והמרות עבור כל גרסה, ובודקים האם רמת הוודאות עוברת סף, בדרך כלל 90% או 95%, לפני שקובעים מנצח. הכלל המעשי שמתחת לכל זה הוא: יותר המרות, לא רק יותר קליקים, הוא מה שבאמת בונה ביטחון. בדיקה עם אלפי קליקים אך רק קומץ המרות לגרסה עדיין אינה אמינה, לא משנה כמה זמן היא רצה.

כלל אצבע מעשי#

אין גודל מדגם מינימלי אוניברסלי, זה תלוי בשיעור ההמרה הבסיסי ובגודל הפער שאתה מנסה לזהות. קונים רבים מתייחסים לכל דבר מתחת לכמה עשרות המרות לגרסה כדק מדי לסמוך עליו, ומחכים לכמות גדולה משמעותית יותר לפני שהם מפנים תקציב רציני. ברשתות עם נפח נמוך יותר כמו Revcontent או MediaGo בהשוואה לרשת עם נפח גבוה כמו Taboola, הגעה למדגם אמין יכולה לקחת זמן ניכר יותר, וזה שווה לקחת בחשבון בכמה אגרסיבית אתה חותך גרסאות שאינן מבצעות טוב.

למה זה חשוב מעבר לבדיקות שלך#

אותו היגיון חל כאשר שופטים מודעה של מתחרה מבחוץ. קריאייטיב שרץ רק יומיים מספר לך הרבה פחות מאחד שאושר שרץ שבועות, וזו הסיבה שאריכות ימים של מודעה עובדת כפרוקסי חיצוני גס: מודעה ששורדת כל כך הרבה זמן סביר שכבר עברה את רף המובהקות הפנימי שלה, למרות שאתה לא יכול לראות את המספרים האמיתיים של המפרסם. OpenAdLibrary מתעדת כמה זמן כל קריאייטיב שנאסף נצפה ברשתות, ונותנת לך את האות החיצוני הזה ללא גישה לדשבורד של אף אחד. חקרו זאת דרך פלטפורמת המודיעין למודעות.

זו גם הסיבה שקונים צריכים להיות סקפטיים כלפי מקרי בוחן מרשימים הטוענים לעלייה עצומה מבדיקה זעירה. תנודות אחוזים גדולות במדגמים קטנים הן בדיוק מה שרעש אקראי מייצר, ותוצאה לגיטימית צריכה להחזיק מעמד ככל שהנפח גדל, לא רק להופיע פעם אחת ולהעלם.