OpenAdLibraryOpenAdLibrary
الإبداع الإعلاني وسلوكيات التحويل

كم من الوقت يجب أن تستمر اختبارات A/B للإعلانات: الرياضيات العملية لحجم العينة

مدة اختبار A/B هي مسألة حسابية، وليست خرافة: العينة المطلوبة مقسومة على الملاحظات اليومية المتوقعة. رياضيات حجم العينة بشكل عملي، بالإضافة إلى تأخر التحويل، وقواعد الإيقاف، ولماذا لا توجد حدود دنيا أو عليا تقويمية تناسب كل اختبار.

رسم توضيحي تحريري: كم من الوقت يجب أن تستمر اختبارات A/B للإعلانات: الرياضيات العملية لحجم العينة

خطّط للمدة انطلاقًا من وحدة التجربة، والمعدل الأساسي، والأثر الذي يستحق الاكتشاف، وتحمل الخطأ، والتوزيع، والملاحظات المتوقعة يوميًا. ضع في الحسبان أيضًا تأخر التحويل والدورات ذات الصلة. لا توجد عتبة عالمية لعدد التحويلات أو عتبة تقويمية تجعل كل اختبار إعلاني حاسمًا.

المدة هي نتيجة، وليست خيارًا تقويميًا#

تؤثر الملاحظات المتوقعة لكل متغير في الوقت اللازم للوصول إلى عينة مخططة. لا يحدد عدد التحويلات وحده العينة المطلوبة: حدّد المعدل الأساسي، وحجم الأثر، والتصميم، وافتراضات عدم اليقين.

  • المعدل الأساسي للمقياس الذي تختبره — CTR للإبداعات، معدل التحويل للصفحات المقصودة والعروض.
  • أصغر فرق يستحق الاكتشاف. اكتشاف تحسن بنسبة 10٪ يكلف حركة مرور أكثر بكثير من اكتشاف تحسن بنسبة 50٪، ومعظم التحسينات الصغيرة لا تستحق الإنفاق المطلوب لرؤيتها.
  • الحجم اليومي لكل متغير — تحدده ميزانيتك وعروض السعر.

قدّر الملاحظات المطلوبة في ظل التصميم المختار واقسمها على الملاحظات المتوقعة لكل متغير يوميًا. تحقق مما إذا كانت النافذة الناتجة لا تزال ذات صلة؛ فمدة أربعة أسابيع ليست عتبة بطلان تلقائية.

رياضيات حجم العينة، بدون شهادة إحصائية#

يستخدم أحد التقريبات التخطيطية الخام لنسبتين مستقلتين توزيعًا متساويًا، وأفقًا ثابتًا، ومستوى دلالة 5٪ ثنائي الجانب، وقوة 80٪:

n لكل متغير ≈ 16 × p × (1 − p) ÷ d²

هنا p هو معدل الحدث الأساسي المفترض و d هو فرق المعدل المطلق. تحتسب النتيجة الملاحظات لكل متغير، مثل الانطباعات أو الزيارات المؤهلة، وليس التحويلات. يحتاج التقريب إلى فحص في حالات النتائج النادرة، والتوزيع غير المتساوي، والمستخدمين المتكررين، والتجميع، وغير ذلك من الانحرافات عن التصميم.

حسابات افتراضية: p=0.005 و d=0.001 ينتجان نحو 79,600 انطباع لكل متغير. p=0.02 و d=0.005 ينتجان نحو 12,544 زيارة مؤهلة لكل متغير. إذا كانت كل زيارة من هذا القبيل تكلف US$0.40، فإن الذراعين تكلفان نحو US$10,035 في الوسائط قبل التكاليف الأخرى. هذه سيناريوهات تخطيطية، وليست معايير صناعية أو وعودًا بالدلالة الإحصائية.

ما تختبره الأساسي التحسن للاكتشاف العينة لكل متغير
CTR (إبداعي) 0.5٪ 20٪ نسبي ~80,000 انطباع
CTR (إبداعي) 0.5٪ 50٪ نسبي ~13,000 انطباع
CVR (صفحة مقصودة) 2٪ 25٪ نسبي ~12,500 نقرة
CVR (صفحة مقصودة) 2٪ 50٪ نسبي ~3,100 نقرة
CVR (صفحة عرض) 5٪ 25٪ نسبي ~4,900 نقرة

بموجب هذا التقريب، فإن خفض d إلى النصف يضاعف العينة المخططة أربع مرات. يجيب CTR والتحويل عن سؤالين مختلفين: تحسن CTR لا يلزم أن يحسن المساهمة أو تكلفة الاكتساب. اختر المقاييس والضوابط حول القرار، بدلًا من افتراض أن الاختبار على مستوى الانطباع دائمًا أرخص أو كافٍ.

ضع في الحسبان الدورات ذات الصلة وتأخر التحويل#

اختر نافذة تمثل حركة المرور ذات الصلة وتسمح للنتائج المتأخرة بالنضوج. قد تهم الأنماط الأسبوعية، لكن سبعة أيام ليست حدًا أدنى عالميًا ولا دليلًا على أن التصميم تمثيلي.

الحد الأعلى: الاختبارات الطويلة تتعفن من الداخل#

قد تُدخل النوافذ الأطول ظروفًا متغيرة، لكن الاختبار لا يتوقف تلقائيًا عن كونه مضبوطًا بعد ثلاثة أو أربعة أسابيع. قيّم العشوائية، والتعرض المتزامن، والانجراف، والنتائج المتأخرة، والملاءمة العملية؛ وراجع التصميم إذا لزم الأمر.

لا تتلصص — أو على الأقل لا تتصرف بناءً على التلصص#

قد يغيّر الفحص المتكرر لاختبار ذي أفق ثابت، والتوقف عند أول نتيجة دلالة مواتية، معدل الخطأ لديه. حدّد التصميم والتحليل مسبقًا، أو استخدم طريقة تسلسلية مناسبة. تختلف شروط الإيقاف التشغيلية عن إعلان النجاح الإحصائي.

قواعد الإيقاف عندما لا تستطيع تحمل تكلفة الدلالة الإحصائية#

معظم مشتري النشر الأصلي والشركاء التابعين لا يستطيعون تمويل 12,500 نقرة لكل متغير، والتظاهر بخلاف ذلك ينتج صرامة زائفة. البديل الصادق هو التصفية المرحلية — أكثر خشونة من اختبار الدلالة الإحصائية، وممارسة قياسية بين المشترين الذين يختبرون العشرات من الإبداعات شهريًا:

يمكن لقاعدة إيقاف مالية أن تحد من التعرض لكنها لا تثبت الدلالة الإحصائية. إذا كنت تفرز المتغيرات قبل اختبار تأكيدي، فراعِ الاختيار والمقارنات المتعددة واستخدم أدلة جديدة ومصممة بشكل مناسب للقرار النهائي. قاعدة 2–3× CPA أو بضعة آلاف من الانطباعات ليست تحققًا عالميًا.

استخدم ملاحظات المنافسين لتكوين الفرضيات#

يمكن لالتقاطات المنافسين أن توحي بفرضيات إبداعية. فترة مراقبة مدتها 30 يومًا لا تثبت أن منافسًا اجتاز اختبار ربحية، واختيار زاوية مألوفة لا يقلل العينة المطلوبة لتصميمك الإحصائي المختار.

مثال عملي، من البداية إلى النهاية#

لنفترض أنك تدير عرضًا لتوليد العملاء المحتملين بعائد $60 بحملة واحدة تقوم بحوالي 1,500 نقرة يوميًا عبر خلايا الاختبار الخاصة بك.

في اختبار افتراضي بتوزيع متساوٍ مع p=0.03 و d=0.009، ينتج التقريب نحو 5,748 زيارة مؤهلة لكل ذراع. عند 1,500 زيارة مؤهلة إجمالًا يوميًا، يستغرق جمع الذراعين نحو 7.7 أيام قبل احتساب التأخير أو الدورات أو متطلبات التصميم الأخرى. لا تضمن مرحلة فرز أبكر فائزًا يمكن الدفاع عنه بعد 10–12 يومًا.

تجمع مدة مخططة بين متطلبات العينة وحركة المرور المؤهلة المتوقعة وتوقيت النتائج. وهي ليست ضمانًا بأن التجربة ستنتج فائزًا حاسمًا إحصائيًا أو تجاريًا.

الأسئلة المتكررة

كم عدد التحويلات التي أحتاجها لكل متغير في اختبار A/B للإعلان؟
تعتمد الملاحظات المطلوبة على المعدل الأساسي، والأثر المطلق، والقوة، وتحمل الخطأ، والتصميم. الصيغة المعروضة تقدير تقريبي للنسب المستقلة، وليست قاعدة دقيقة لعدد التحويلات.
هل 3 أيام كافية لتشغيل اختبار A/B للإعلان؟
يعتمد ذلك على التصميم، وحركة المرور المؤهلة، والدورات ذات الصلة، وتأخر النتيجة. قد تكون ثلاثة أيام قصيرة جدًا لسؤال معين، لكن سبعة أيام ليست عتبة صلاحية عالمية.
هل يجب أن اختبر الإعلانات على أساس CTR أم معدل التحويل؟
اختر المقياس المناسب للقرار وضمّن ضوابط لاحقة. يجيب CTR ومعدل التحويل عن سؤالين مختلفين؛ لا تثبت هذه المقالة وجود فرق تكلفة عالمي بمقدار 10–100×.
ماذا يحدث إذا أوقفت اختبار A/B بمجرد وصوله إلى الدلالة الإحصائية؟
أنت ترفع معدل الإيجابيات الكاذبة بشكل كبير. التحقق يوميًا والتوقف عند أول قراءة ذات دلالة يعني أن العديد من 'الفائزين' هو مجرد ضوضاء كان من الممكن أن تتراجع مع المزيد من البيانات — مشكلة التلصق الكلاسيكية. التزم مسبقًا بحجم عينة، واستخدم الفحوصات اليومية فقط لشروط وقف الخسارة مثل تعطل التتبع أو الإنفاق الجامح، وقم بالتقييم مرة واحدة عند اكتمال العينة.
لماذا توقف متغير الإعلان الفائز عن الفوز بعد انتهاء الاختبار؟
تشمل التفسيرات المحتملة عدم اليقين، وتحيز الاختيار، وتغيّر حركة المرور، والنتائج المتأخرة، والتغيرات الفعلية في الأداء. لم تثبت المقالة وجود سبب معتاد؛ افحص التصميم والبيانات اللاحقة.
فريق OpenAdLibrary
كتب بواسطةفريق OpenAdLibrary
استخبارات الإعلانات وأبحاث الإعلانات الأصلية

نحن نبني OpenAdLibrary، المنصة المفتوحة للشفافية الإعلانية. كل يوم، تلتقط أنظمتنا إعلانات أصلية حية عبر Taboola وOutbrain وMGID وRevcontent وTeads وYahoo وMSN، وتحدد المعلن الحقيقي وراء كل إعلان، وتتبع النقرة إلى صفحة الهبوط الخاصة به. تقدم هذه الأدلة خلاصة ما نراه في تلك البيانات حتى تتمكن من البحث في السوق بشكل أسرع.