OpenAdLibraryOpenAdLibrary
קריאייטיב פרסומי ופאנלים

כמה זמן צריך להריץ מבחני A/B בפרסומות: מתמטיקה של גודל מדגם מעשית

משך מבחן A/B הוא חשבון, לא פולקלור: המדגם הנדרש מחולק במספר התצפיות היומי הצפוי. המתמטיקה של גודל מדגם בגרסה שמישה, פלוס שיהוי המרה, כללי עצירה, ולמה אין רצפת לוח שנה או תקרה שמתאימה לכל מבחן.

איור מערכתי: כמה זמן צריך להריץ מבחני A/B בפרסומות: מתמטיקה של גודל מדגם מעשית

תכנן את משך המבחן לפי יחידת הניסוי, שער הבסיס, גודל האפקט ששווה לזהות, סבילות לשגיאה, הקצאת התעבורה ומספר התצפיות היומי הצפוי. יש להביא בחשבון גם שיהוי המרה ומחזורים רלוונטיים. אין סף אוניברסלי של מספר המרות או של ימים בלוח השנה שהופך כל מבחן פרסומת למכריע.

משך הוא פלט, לא בחירת לוח שנה#

מספר התצפיות הצפוי לכל וריאנט משפיע על הזמן הנדרש כדי להגיע למדגם מתוכנן. מספר ההמרות לבדו אינו מגדיר את המדגם הנדרש: פרט את שער הבסיס, גודל האפקט, התכנון והנחות אי-הוודאות.

  • שער הבסיס של המדד שאתה בודק — CTR עבור קריאטיבים, שער המרה עבור נחיתנים והצעות.
  • ההבדל הקטן ביותר ששווה לגלות. גילוי עלייה של 10% עולה הרבה יותר תעבורה מגילוי עלייה של 50%, ורוב העליות הקטנות לא שוות את הסכום שנדרש כדי לראות אותן.
  • נפח יומי לכל וריאנט — נקבע לפי התקציב והמכירות הממוצעות שלך.

אמד את מספר התצפיות הנדרש לפי התכנון שנבחר וחלק במספר התצפיות הצפוי לכל וריאנט ליום. בדוק אם חלון הזמן שמתקבל נשאר רלוונטי; משך של ארבעה שבועות אינו סף פסילה אוטומטי.

מתמטיקה של גודל מדגם, ללא תואר בסטטיסטיקה#

קירוב תכנוני גס אחד לשני יחסים בלתי תלויים מניח הקצאה שווה, אופק קבוע מראש, רמת מובהקות דו-צדדית של 5% וכוח של 80%:

n לכל וריאנט ≈ 16 × p × (1 − p) ÷ d²

כאן p הוא שער האירוע הבסיסי המונח ו-d הוא הפרש מוחלט בשערים. התוצאה סופרת תצפיות לכל וריאנט, כגון חשיפות או ביקורים זכאים, ולא המרות. יש לבדוק את הקירוב במקרים של תוצאות נדירות, הקצאה לא שווה, משתמשים חוזרים, אשכולות וסטיות אחרות מהתכנון.

חישובים היפותטיים: p=0.005 ו-d=0.001 מניבים כ-79,600 חשיפות לכל וריאנט. p=0.02 ו-d=0.005 מניבים כ-12,544 ביקורים זכאים לכל וריאנט. אם כל ביקור כזה עולה US$0.40, שתי זרועות עולות כ-US$10,035 במדיה לפני עלויות אחרות. אלו תרחישי תכנון, לא בנצ'מרקים של הענף ולא הבטחות למובהקות.

מה אתה בודק שער בסיס העלייה לזיהוי מדגם לכל וריאנט
CTR (קריאטיב) 0.5% 20% יחסית ~80,000 חשיפות
CTR (קריאטיב) 0.5% 50% יחסית ~13,000 חשיפות
CVR (נחיתן) 2% 25% יחסית ~12,500 לחיצות
CVR (נחיתן) 2% 50% יחסית ~3,100 לחיצות
CVR (דף הצעה) 5% 25% יחסית ~4,900 לחיצות

לפי קירוב זה, חלוקה של d בחצי מכפילה פי ארבע את המדגם המתוכנן. CTR והמרה עונים על שאלות שונות: שיפור ב-CTR לא חייב לשפר את התרומה או את עלות הרכישה. בחר מדדים ומחסומי בקרה שמתאימים להחלטה, במקום להניח שבדיקה ברמת חשיפה תמיד זולה יותר או מספיקה.

התחשבות במחזורים רלוונטיים ובשיהוי המרה#

בחר חלון זמן שמייצג את התעבורה הרלוונטית ומאפשר לתוצאות מאוחרות להבשיל. דפוסים שבועיים עשויים להיות חשובים, אבל שבעה ימים אינם מינימום אוניברסלי וגם לא הוכחה שהתכנון מייצג.

התקרה: מבחנים ארוכים נרקבים מבפנים#

חלונות ארוכים יותר יכולים להכניס תנאים משתנים, אבל מבחן לא מפסיק אוטומטית להיות מבוקר אחרי שלושה-ארבעה שבועות. הערך אקראיות ההקצאה, חשיפה במקביל, סחיפה, תוצאות מאוחרות ורלוונטיות מעשית; עדכן את התכנון אם יש צורך.

אל תציץ — או לפחות אל תפעל לפי הצצות#

בדיקה חוזרת של מבחן עם אופק קבוע מראש ועצירה בתוצאה המובהקת החיובית הראשונה יכולה לשנות את שיעור השגיאה שלו. הגדר מראש את התכנון והניתוח, או השתמש בשיטה סדרתית מתאימה. תנאי עצירה תפעוליים נבדלים מהכרזה על הצלחה סטטיסטית.

כללי עצירה למקרה שאין לך תקציב למובהקות#

רוב הקונים המקומיים והשותפים לא יכולים לממן 12,500 לחיצות לכל וריאנט, והעמדת פנים אחרת מייצרת קפדנות מזויפת. האלטרנטיבה הכנה היא ניפוי בשלבים — גס יותר ממבחן מובהקות, ופרקטיקה סטנדרטית בקרב קונים שבודקים עשרות קריאטיבים בחודש:

כלל עצירה פיננסי יכול להגביל חשיפה אבל לא קובע מובהקות סטטיסטית. אם מסננים וריאנטים לפני מבחן מאשש, יש להביא בחשבון בחירה והשוואות מרובות ולהשתמש בראיות טריות ומתוכננות כראוי להחלטה הסופית. כלל של 2–3× CPA או כמה אלפי חשיפות אינו תוקף אוניברסלי.

השתמש בתצפיות על מתחרים כדי לגבש השערות#

תצפיות על מתחרים יכולות להציע השערות קריאטיביות. טווח תצפית של 30 ימים לא מוכיח שמתחרה עבר מבחן רווחיות, ובחירת זווית מוכרת לא מקטינה את המדגם הנדרש לתכנון הסטטיסטי שבחרת.

דוגמה מעובדת, מההתחלה עד הסוף#

נניח שאתה מריץ הצעת לידג'ן עם תשלום של $60 עם קמפיין אחד שעושה בערך 1,500 לחיצות ביום בכל תאי המבחן שלך.

במבחן היפותטי עם הקצאה שווה שבו p=0.03 ו-d=0.009, הקירוב מניב כ-5,748 ביקורים זכאים לכל זרוע. בקצב של 1,500 ביקורים זכאים בסך הכל ליום, איסוף שתי הזרועות אורך כ-7.7 ימים לפני התחשבות בשיהוי, במחזורים או בדרישות תכנון אחרות. שלב ניפוי מוקדם יותר לא מבטיח מנצח שניתן להגן עליו אחרי 10–12 ימים.

משך מתוכנן משלב דרישות מדגם עם תעבורה זכאית צפויה ועם תזמון התוצאות. הוא אינו הבטחה שהניסוי יניב מנצח מכריע מבחינה סטטיסטית או מסחרית.

שאלות נפוצות

כמה המרות אני צריך לכל וריאנט במבחן A/B בפרסומת?
התצפיות הנדרשות תלויות בשער הבסיס, בגודל האפקט המוחלט, בכוח, בסבילות לשגיאה ובתכנון הניסוי. הנוסחה המוצגת היא קירוב גס לפרופורציות בלתי תלויות, לא כלל מדויק למספר המרות.
האם 3 ימים זה מספיק זמן להריץ מבחן A/B בפרסומת?
זה תלוי בתכנון הניסוי, בתעבורה הזכאית, במחזורים הרלוונטיים ובשיהוי התוצאות. שלושה ימים יכולים להיות קצרים מדי לשאלה מסוימת, אבל שבעה ימים אינם סף תוקף אוניברסלי.
האם לבדוק פרסומות לפי CTR או לפי שער המרה?
בחר את המדד שמתאים להחלטה, וכלול מחסומי בקרה במורד התהליך. CTR ושער המרה עונים על שאלות שונות; מאמר זה אינו קובע הבדל עלות אוניברסלי של פי 10–100.
מה קורה אם אני עוצר מבחן A/B ברגע שהוא מגיע למובהקות?
אתה מנפח דרמטית את שער החיוביות השגויות שלך. בדיקה יומית ועצירה בקריאה המובהקת הראשונה אומרת שרבים מה'מנצחים' הם רעש שהיה נסוג עם עוד נתונים — בעיית הצצה הקלאסית. התחייב מראש לגודל מדגם, השתמש בבדיקות יומיות רק לתנאי עצירה כגון מעקב שבור או בזבוז חסר שליטה, והערך פעם אחת כשהמדגם מלא.
למה וריאנט הפרסומת המנצחת שלי הפסיק לנצח אחרי המבחן?
הסברים אפשריים כוללים אי-ודאות, הטיית בחירה, תעבורה משתנה, תוצאות מאוחרות ושינויים אמיתיים בביצועים. המאמר לא ביסס סיבה שכיחה; בחן את תכנון הניסוי ואת הנתונים שלאחריו.
צוות OpenAdLibrary
נכתב על ידיצוות OpenAdLibrary
מודיעין פרסום ומחקר פרסום מקורי

אנחנו בונים את OpenAdLibrary, פלטפורמת השקיפות הפרסומית הפתוחה. מדי יום המערכות שלנו לוכדות פרסומות מקוריות חיות ברחבי Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo ו-MSN, מזוהות את המפרסם האמיתי מאחורי כל אחת מהן, ועוקבות אחרי הקליק עד לדף הנחיתה. המדריכים האלה מסננים את מה שאנחנו רואים בנתונים האלה כדי שתוכלו לחקור את השוק מהר יותר.