OpenAdLibraryOpenAdLibrary
โฆษณาและฟันเนล

ควรทดสอบโฆษณา A/B นานแค่ไหน: คณิตศาสตร์ขนาดตัวอย่างที่นำไปใช้ได้จริง

ระยะเวลาทดสอบ A/B คือการคำนวณ ไม่ใช่ความเชื่อลอย ๆ: ขนาดตัวอย่างที่ต้องการหารด้วยจำนวนการสังเกตที่คาดหวังต่อวัน คณิตศาสตร์ขนาดตัวอย่างที่ใช้งานได้จริง พร้อมความล่าช้าในการแปลง กฎหยุดทดสอบ และเหตุใดจึงไม่มีขั้นต่ำหรือขีดจำกัดสูงสุดตามปฏิทินที่เหมาะกับการทดสอบทุกครั้ง

ภาพประกอบบทความ: ควรทดสอบโฆษณา A/B นานแค่ไหน: คณิตศาสตร์ขนาดตัวอย่างที่นำไปใช้ได้จริง

วางแผนระยะเวลาจากหน่วยการทดลอง อัตราพื้นฐาน ขนาดผลที่คุ้มค่าตรวจพบ อัตราความคลาดเคลื่อนที่ยอมรับได้ การจัดสรร และจำนวนการสังเกตที่คาดหวังต่อวัน รวมถึงเผื่อความล่าช้าในการแปลงและวงจรที่เกี่ยวข้องไว้ด้วย ไม่มีจำนวนการแปลงหรือเกณฑ์ตามปฏิทินแบบสากลใดที่ทำให้การทดสอบโฆษณาทุกครั้งได้ข้อสรุปชัดเจน

ระยะเวลาเป็นผลลัพธ์ ไม่ใช่ตัวเลือกตามปฏิทิน#

จำนวนการสังเกตที่คาดหวังต่อตัวแปรมีผลต่อเวลาที่ต้องใช้เพื่อให้ได้ขนาดตัวอย่างตามแผน จำนวนการแปลงเพียงอย่างเดียวไม่ได้กำหนดขนาดตัวอย่างที่ต้องการ: ต้องระบุอัตราพื้นฐาน ขนาดผล การออกแบบ และสมมติฐานเกี่ยวกับความไม่แน่นอน

  • อัตราพื้นฐาน ของเมตริกที่คุณกำลังทดสอบ — CTR สำหรับครีเอทีฟ อัตราการแปลง สำหรับหน้าแลนดิ้งและข้อเสนอ
  • ความแตกต่างที่เล็กที่สุดที่คุ้มค่าตรวจพบ การตรวจจับการเพิ่มขึ้น 10% ใช้ปริมาณการเข้าชมแพงกว่าการตรวจจับการเพิ่มขึ้น 50% มาก และการเพิ่มขึ้นเล็กน้อยส่วนใหญ่ไม่คุ้มค่ากับเงินที่ใช้เพื่อเห็นมัน
  • ปริมาณรายวันต่อตัวแปร — กำหนดโดยงบประมาณและการประมูลของคุณ

ประมาณจำนวนการสังเกตที่ต้องการภายใต้การออกแบบที่เลือก แล้วหารด้วยจำนวนการสังเกตที่คาดหวังต่อตัวแปรต่อวัน ตรวจสอบว่าช่วงเวลาที่ได้ยังคงเกี่ยวข้องหรือไม่ ระยะเวลาสี่สัปดาห์ไม่ใช่เกณฑ์ความไม่สมบูรณ์แบบอัตโนมัติ

คณิตศาสตร์ขนาดตัวอย่าง ลบปริญญาสถิติออก#

การประมาณการวางแผนคร่าว ๆ หนึ่งแบบสำหรับสัดส่วนอิสระสองกลุ่มใช้การจัดสรรเท่ากัน กรอบเวลาคงที่ ระดับนัยสำคัญ 5% แบบสองด้าน และพลัง 80%:

n ต่อตัวแปร ≈ 16 × p × (1 − p) ÷ d²

โดยที่ p คืออัตราเหตุการณ์พื้นฐานที่สมมติขึ้น และ d คือความแตกต่างของอัตราสัมบูรณ์ ผลลัพธ์นับเป็นการสังเกตต่อตัวแปร เช่น อิมเพรสชันหรือการเข้าชมที่มีสิทธิ์ ไม่ใช่การแปลง การประมาณนี้ต้องตรวจสอบสำหรับผลลัพธ์ที่เกิดน้อย การจัดสรรไม่เท่ากัน ผู้ใช้ซ้ำ การจัดกลุ่ม และความเบี่ยงเบนอื่น ๆ จากการออกแบบ

การคำนวณสมมติ: p=0.005 และ d=0.001 ให้ผลประมาณ 79,600 อิมเพรสชันต่อตัวแปร p=0.02 และ d=0.005 ให้ผลประมาณ 12,544 การเข้าชมที่มีสิทธิ์ต่อตัวแปร หากการเข้าชมแต่ละครั้งมีค่าใช้จ่าย US$0.40 สองกลุ่มจะใช้เงินค่าสื่อประมาณ US$10,035 ก่อนค่าใช้จ่ายอื่น ๆ นี่คือสถานการณ์สำหรับการวางแผน ไม่ใช่มาตรฐานอุตสาหกรรมหรือคำสัญญาว่าจะมีนัยสำคัญ

สิ่งที่คุณกำลังทดสอบ อัตราพื้นฐาน การเพิ่มขึ้นที่ตรวจจับ ตัวอย่างต่อตัวแปร
CTR (ครีเอทีฟ) 0.5% 20% สัมพัทธ์ ~80,000 อิมเพรสชัน
CTR (ครีเอทีฟ) 0.5% 50% สัมพัทธ์ ~13,000 อิมเพรสชัน
CVR (หน้าแลนดิ้ง) 2% 25% สัมพัทธ์ ~12,500 คลิก
CVR (หน้าแลนดิ้ง) 2% 50% สัมพัทธ์ ~3,100 คลิก
CVR (หน้าข้อเสนอ) 5% 25% สัมพัทธ์ ~4,900 คลิก

ภายใต้การประมาณนี้ การลด d ลงครึ่งหนึ่งทำให้ขนาดตัวอย่างตามแผนเพิ่มขึ้นสี่เท่า CTR และการแปลงตอบคำถามที่ต่างกัน: การปรับปรุง CTR ไม่จำเป็นต้องปรับปรุงกำไรส่วนเพิ่มหรือต้นทุนการได้มา เลือกเมตริกและมาตรการคุ้มครองให้เหมาะกับการตัดสินใจ แทนที่จะสมมติว่าการทดสอบในระดับอิมเพรสชันถูกกว่าหรือเพียงพอเสมอ

เผื่อวงจรที่เกี่ยวข้องและความล่าช้าในการแปลง#

เลือกช่วงเวลาที่เป็นตัวแทนของการเข้าชมที่เกี่ยวข้อง และให้เวลาผลลัพธ์ที่ล่าช้าสุกงอมเพียงพอ รูปแบบรายสัปดาห์อาจมีความสำคัญ แต่เจ็ดวันไม่ใช่ทั้งขั้นต่ำแบบสากลหรือหลักฐานว่าการออกแบบเป็นตัวแทนที่ดี

ขีดจำกัดสูงสุด: การทดสอบที่ยาวนานจะเสื่อมสภาพจากภายใน#

ช่วงเวลาที่นานขึ้นอาจนำมาซึ่งเงื่อนไขที่เปลี่ยนแปลงไป แต่การทดสอบไม่ได้หยุดเป็นการทดลองที่ควบคุมได้โดยอัตโนมัติหลังจากสามหรือสี่สัปดาห์ ประเมินการสุ่ม การเปิดรับพร้อมกัน การคลาดเคลื่อน ผลลัพธ์ที่ล่าช้า และความเกี่ยวข้องในทางปฏิบัติ แล้วแก้ไขการออกแบบหากจำเป็น

อย่าแอบดู — หรืออย่างน้อยอย่าทำตามสิ่งที่แอบดู#

การตรวจสอบการทดสอบแบบกรอบเวลาคงที่ซ้ำ ๆ และหยุดเมื่อพบผลที่มีนัยสำคัญน่าพอใจเป็นครั้งแรกสามารถเปลี่ยนอัตราความผิดพลาดของมันได้ กำหนดการออกแบบและการวิเคราะห์ไว้ล่วงหน้า หรือใช้วิธีการแบบลำดับที่เหมาะสม เงื่อนไขการหยุดเชิงปฏิบัติการนั้นแตกต่างจากการประกาศความสำเร็จทางสถิติ

กฎหยุดทดสอบสำหรับเมื่อคุณจ่ายค่าความมีนัยสำคัญไม่ไหว#

ผู้ซื้อเนทีฟและแอฟฟิลิเอทส่วนใหญ่ไม่สามารถจัดหาเงิน 12,500 คลิกต่อตัวแปรได้ และการแสร้งทำเป็นว่าทำได้ทำให้เกิดความเข้มงวดปลอม ทางเลือกที่ซื่อสัตย์คือการคัดกรองเป็นขั้นตอน — หยาบกว่าการทดสอบความมีนัยสำคัญ และเป็นวิธีปฏิบัติมาตรฐานในหมู่ผู้ซื้อที่ทดสอบครีเอทีฟหลายสิบชิ้นต่อเดือน:

กฎหยุดทางการเงินสามารถจำกัดความเสี่ยงได้ แต่ไม่ได้ยืนยันความมีนัยสำคัญทางสถิติ หากคัดกรองตัวแปรก่อนการทดสอบยืนยัน ต้องคำนึงถึงการคัดเลือกและการเปรียบเทียบหลายครั้ง และใช้หลักฐานใหม่ที่ออกแบบอย่างเหมาะสมสำหรับการตัดสินใจขั้นสุดท้าย กฎ 2–3× CPA หรืออิมเพรสชันสองสามพันครั้งไม่ใช่การยืนยันแบบสากล

ใช้ข้อมูลสังเกตของคู่แข่งเพื่อสร้างสมมติฐาน#

ภาพที่บันทึกจากคู่แข่งสามารถบ่งชี้สมมติฐานเกี่ยวกับครีเอทีฟได้ ช่วงการสังเกต 30 วัน ไม่ได้ยืนยันว่าคู่แข่งผ่านการทดสอบความสามารถในการทำกำไร และการเลือก angle ที่คุ้นเคยไม่ได้ลดขนาดตัวอย่างที่ต้องการสำหรับการออกแบบทางสถิติที่คุณเลือก

ตัวอย่างการทำงานตั้งแต่ต้นจนจบ#

สมมติว่าคุณรันข้อเสนอ lead-gen ที่จ่าย $60 โดยมีแคมเปญหนึ่งทำคลิกราว 1,500 ครั้งต่อวันทั่วเซลล์ทดสอบของคุณ

ในการทดสอบสมมติที่มีการจัดสรรเท่ากันโดย p=0.03 และ d=0.009 การประมาณนี้ให้ผลประมาณ 5,748 การเข้าชมที่มีสิทธิ์ต่อกลุ่ม ที่ 1,500 การเข้าชมที่มีสิทธิ์รวมต่อวัน การเก็บข้อมูลทั้งสองกลุ่มใช้เวลาประมาณ 7.7 วัน ก่อนคำนึงถึงความล่าช้า วงจร หรือข้อกำหนดการออกแบบอื่น ๆ ขั้นการคัดกรองก่อนหน้านี้ไม่ได้รับประกันว่าจะได้ผู้ชนะที่ป้องกันได้หลังจาก 10–12 วัน

ระยะเวลาตามแผนผสมผสานข้อกำหนดขนาดตัวอย่างกับปริมาณการเข้าชมที่มีสิทธิ์ที่คาดหวังและจังหวะเวลาของผลลัพธ์ ไม่ใช่การรับประกันว่าการทดลองจะให้ผู้ชนะที่ชี้ขาดทางสถิติหรือในเชิงพาณิชย์

คำถามที่พบบ่อย

ในการทดสอบโฆษณา A/B ฉันต้องการการแปลงกี่ครั้งต่อตัวแปร?
จำนวนการสังเกตที่ต้องการขึ้นอยู่กับอัตราพื้นฐาน ขนาดผลสัมบูรณ์ พลัง อัตราความคลาดเคลื่อนที่ยอมรับได้ และการออกแบบ สูตรที่แสดงเป็นเพียงการประมาณคร่าว ๆ สำหรับสัดส่วนที่เป็นอิสระต่อกัน ไม่ใช่กฎการนับจำนวนการแปลงที่แม่นยำ
3 วันนานพอสำหรับการทดสอบโฆษณา A/B หรือไม่?
ขึ้นอยู่กับการออกแบบ ปริมาณการเข้าชมที่มีสิทธิ์ วงจรที่เกี่ยวข้อง และความล่าช้าของผลลัพธ์ สามวันอาจสั้นเกินไปสำหรับคำถามเฉพาะเจาะจง แต่เจ็ดวันไม่ใช่เกณฑ์ความสมบูรณ์แบบสากล
ควรทดสอบโฆษณาด้วย CTR หรืออัตราการแปลง?
เลือกเมตริกให้เหมาะกับการตัดสินใจ และรวมมาตรการคุ้มครองปลายทางไว้ด้วย CTR และอัตราการแปลงตอบคำถามที่ต่างกัน บทความนี้ไม่ได้ยืนยันความแตกต่างของค่าใช้จ่าย 10–100 เท่าแบบสากล
จะเกิดอะไรขึ้นถ้าฉันหยุดการทดสอบ A/B ทันทีที่มันมีนัยสำคัญ?
คุณจะเพิ่มอัตราผลบวกลวงอย่างมาก การตรวจสอบรายวันและหยุดที่การอ่านค่าที่มีนัยสำคัญครั้งแรกหมายความว่าผู้ชนะหลายรายเป็นสัญญาณรบกวนที่จะถดถอยไปหากมีข้อมูลมากขึ้น — ปัญหา classic peeking problem จงกำหนดขนาดตัวอย่างล่วงหน้า ใช้การตรวจสอบรายวันเฉพาะสำหรับเงื่อนไขหยุดขาดทุน เช่น การติดตามพังหรือการใช้จ่ายเกินควบคุม และประเมินผลเพียงครั้งเดียวเมื่อตัวอย่างครบถ้วน
ทำไมตัวแปรโฆษณาที่ชนะของฉันถึงหยุดชนะหลังการทดสอบ?
คำอธิบายที่เป็นไปได้ ได้แก่ ความไม่แน่นอน อคติจากการคัดเลือก การเข้าชมที่เปลี่ยนไป ผลลัพธ์ที่ล่าช้า และการเปลี่ยนแปลงที่แท้จริงในประสิทธิภาพ บทความนี้ไม่ได้ยืนยันสาเหตุที่พบบ่อย ควรตรวจสอบการออกแบบและข้อมูลที่ตามมา
ทีม OpenAdLibrary
เขียนโดยทีม OpenAdLibrary
วิจัยข่าวกรองโฆษณาและโฆษณาเนทีฟ

เราสร้าง OpenAdLibrary แพลตฟอร์มเปิดเพื่อความโปร่งใสด้านโฆษณา ทุกวันระบบของเราจับโฆษณาเนทีฟสดจาก Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo และ MSN ระบุผู้โฆษณาจริงที่อยู่เบื้องหลังแต่ละรายการ และติดตามคลิกไปยังหน้า Landing Page คู่มือเหล่านี้สรุปสิ่งที่เราเห็นจากข้อมูลนั้น เพื่อให้คุณวิจัยตลาดได้เร็วขึ้น