كم من الوقت يجب أن تستمر اختبارات A/B للإعلانات: الرياضيات العملية لحجم العينة
مدة اختبار A/B هي مسألة حسابية، وليست خرافة: العينة المطلوبة مقسومة على الملاحظات اليومية المتوقعة. رياضيات حجم العينة بشكل عملي، بالإضافة إلى تأخر التحويل، وقواعد الإيقاف، ولماذا لا توجد حدود دنيا أو عليا تقويمية تناسب كل اختبار.

خطّط للمدة انطلاقًا من وحدة التجربة، والمعدل الأساسي، والأثر الذي يستحق الاكتشاف، وتحمل الخطأ، والتوزيع، والملاحظات المتوقعة يوميًا. ضع في الحسبان أيضًا تأخر التحويل والدورات ذات الصلة. لا توجد عتبة عالمية لعدد التحويلات أو عتبة تقويمية تجعل كل اختبار إعلاني حاسمًا.
المدة هي نتيجة، وليست خيارًا تقويميًا#
تؤثر الملاحظات المتوقعة لكل متغير في الوقت اللازم للوصول إلى عينة مخططة. لا يحدد عدد التحويلات وحده العينة المطلوبة: حدّد المعدل الأساسي، وحجم الأثر، والتصميم، وافتراضات عدم اليقين.
- المعدل الأساسي للمقياس الذي تختبره — CTR للإبداعات، معدل التحويل للصفحات المقصودة والعروض.
- أصغر فرق يستحق الاكتشاف. اكتشاف تحسن بنسبة 10٪ يكلف حركة مرور أكثر بكثير من اكتشاف تحسن بنسبة 50٪، ومعظم التحسينات الصغيرة لا تستحق الإنفاق المطلوب لرؤيتها.
- الحجم اليومي لكل متغير — تحدده ميزانيتك وعروض السعر.
قدّر الملاحظات المطلوبة في ظل التصميم المختار واقسمها على الملاحظات المتوقعة لكل متغير يوميًا. تحقق مما إذا كانت النافذة الناتجة لا تزال ذات صلة؛ فمدة أربعة أسابيع ليست عتبة بطلان تلقائية.
رياضيات حجم العينة، بدون شهادة إحصائية#
يستخدم أحد التقريبات التخطيطية الخام لنسبتين مستقلتين توزيعًا متساويًا، وأفقًا ثابتًا، ومستوى دلالة 5٪ ثنائي الجانب، وقوة 80٪:
n لكل متغير ≈ 16 × p × (1 − p) ÷ d²
هنا p هو معدل الحدث الأساسي المفترض و d هو فرق المعدل المطلق. تحتسب النتيجة الملاحظات لكل متغير، مثل الانطباعات أو الزيارات المؤهلة، وليس التحويلات. يحتاج التقريب إلى فحص في حالات النتائج النادرة، والتوزيع غير المتساوي، والمستخدمين المتكررين، والتجميع، وغير ذلك من الانحرافات عن التصميم.
حسابات افتراضية: p=0.005 و d=0.001 ينتجان نحو 79,600 انطباع لكل متغير. p=0.02 و d=0.005 ينتجان نحو 12,544 زيارة مؤهلة لكل متغير. إذا كانت كل زيارة من هذا القبيل تكلف US$0.40، فإن الذراعين تكلفان نحو US$10,035 في الوسائط قبل التكاليف الأخرى. هذه سيناريوهات تخطيطية، وليست معايير صناعية أو وعودًا بالدلالة الإحصائية.
| ما تختبره | الأساسي | التحسن للاكتشاف | العينة لكل متغير |
|---|---|---|---|
| CTR (إبداعي) | 0.5٪ | 20٪ نسبي | ~80,000 انطباع |
| CTR (إبداعي) | 0.5٪ | 50٪ نسبي | ~13,000 انطباع |
| CVR (صفحة مقصودة) | 2٪ | 25٪ نسبي | ~12,500 نقرة |
| CVR (صفحة مقصودة) | 2٪ | 50٪ نسبي | ~3,100 نقرة |
| CVR (صفحة عرض) | 5٪ | 25٪ نسبي | ~4,900 نقرة |
بموجب هذا التقريب، فإن خفض d إلى النصف يضاعف العينة المخططة أربع مرات. يجيب CTR والتحويل عن سؤالين مختلفين: تحسن CTR لا يلزم أن يحسن المساهمة أو تكلفة الاكتساب. اختر المقاييس والضوابط حول القرار، بدلًا من افتراض أن الاختبار على مستوى الانطباع دائمًا أرخص أو كافٍ.
ضع في الحسبان الدورات ذات الصلة وتأخر التحويل#
اختر نافذة تمثل حركة المرور ذات الصلة وتسمح للنتائج المتأخرة بالنضوج. قد تهم الأنماط الأسبوعية، لكن سبعة أيام ليست حدًا أدنى عالميًا ولا دليلًا على أن التصميم تمثيلي.
الحد الأعلى: الاختبارات الطويلة تتعفن من الداخل#
قد تُدخل النوافذ الأطول ظروفًا متغيرة، لكن الاختبار لا يتوقف تلقائيًا عن كونه مضبوطًا بعد ثلاثة أو أربعة أسابيع. قيّم العشوائية، والتعرض المتزامن، والانجراف، والنتائج المتأخرة، والملاءمة العملية؛ وراجع التصميم إذا لزم الأمر.
لا تتلصص — أو على الأقل لا تتصرف بناءً على التلصص#
قد يغيّر الفحص المتكرر لاختبار ذي أفق ثابت، والتوقف عند أول نتيجة دلالة مواتية، معدل الخطأ لديه. حدّد التصميم والتحليل مسبقًا، أو استخدم طريقة تسلسلية مناسبة. تختلف شروط الإيقاف التشغيلية عن إعلان النجاح الإحصائي.
قواعد الإيقاف عندما لا تستطيع تحمل تكلفة الدلالة الإحصائية#
معظم مشتري النشر الأصلي والشركاء التابعين لا يستطيعون تمويل 12,500 نقرة لكل متغير، والتظاهر بخلاف ذلك ينتج صرامة زائفة. البديل الصادق هو التصفية المرحلية — أكثر خشونة من اختبار الدلالة الإحصائية، وممارسة قياسية بين المشترين الذين يختبرون العشرات من الإبداعات شهريًا:
يمكن لقاعدة إيقاف مالية أن تحد من التعرض لكنها لا تثبت الدلالة الإحصائية. إذا كنت تفرز المتغيرات قبل اختبار تأكيدي، فراعِ الاختيار والمقارنات المتعددة واستخدم أدلة جديدة ومصممة بشكل مناسب للقرار النهائي. قاعدة 2–3× CPA أو بضعة آلاف من الانطباعات ليست تحققًا عالميًا.
استخدم ملاحظات المنافسين لتكوين الفرضيات#
يمكن لالتقاطات المنافسين أن توحي بفرضيات إبداعية. فترة مراقبة مدتها 30 يومًا لا تثبت أن منافسًا اجتاز اختبار ربحية، واختيار زاوية مألوفة لا يقلل العينة المطلوبة لتصميمك الإحصائي المختار.
مثال عملي، من البداية إلى النهاية#
لنفترض أنك تدير عرضًا لتوليد العملاء المحتملين بعائد $60 بحملة واحدة تقوم بحوالي 1,500 نقرة يوميًا عبر خلايا الاختبار الخاصة بك.
في اختبار افتراضي بتوزيع متساوٍ مع p=0.03 و d=0.009، ينتج التقريب نحو 5,748 زيارة مؤهلة لكل ذراع. عند 1,500 زيارة مؤهلة إجمالًا يوميًا، يستغرق جمع الذراعين نحو 7.7 أيام قبل احتساب التأخير أو الدورات أو متطلبات التصميم الأخرى. لا تضمن مرحلة فرز أبكر فائزًا يمكن الدفاع عنه بعد 10–12 يومًا.
تجمع مدة مخططة بين متطلبات العينة وحركة المرور المؤهلة المتوقعة وتوقيت النتائج. وهي ليست ضمانًا بأن التجربة ستنتج فائزًا حاسمًا إحصائيًا أو تجاريًا.







