ควรทดสอบโฆษณา A/B นานแค่ไหน: คณิตศาสตร์ขนาดตัวอย่างที่นำไปใช้ได้จริง
ระยะเวลาทดสอบ A/B คือการคำนวณ ไม่ใช่ความเชื่อลอย ๆ: ขนาดตัวอย่างที่ต้องการหารด้วยจำนวนการสังเกตที่คาดหวังต่อวัน คณิตศาสตร์ขนาดตัวอย่างที่ใช้งานได้จริง พร้อมความล่าช้าในการแปลง กฎหยุดทดสอบ และเหตุใดจึงไม่มีขั้นต่ำหรือขีดจำกัดสูงสุดตามปฏิทินที่เหมาะกับการทดสอบทุกครั้ง

วางแผนระยะเวลาจากหน่วยการทดลอง อัตราพื้นฐาน ขนาดผลที่คุ้มค่าตรวจพบ อัตราความคลาดเคลื่อนที่ยอมรับได้ การจัดสรร และจำนวนการสังเกตที่คาดหวังต่อวัน รวมถึงเผื่อความล่าช้าในการแปลงและวงจรที่เกี่ยวข้องไว้ด้วย ไม่มีจำนวนการแปลงหรือเกณฑ์ตามปฏิทินแบบสากลใดที่ทำให้การทดสอบโฆษณาทุกครั้งได้ข้อสรุปชัดเจน
ระยะเวลาเป็นผลลัพธ์ ไม่ใช่ตัวเลือกตามปฏิทิน#
จำนวนการสังเกตที่คาดหวังต่อตัวแปรมีผลต่อเวลาที่ต้องใช้เพื่อให้ได้ขนาดตัวอย่างตามแผน จำนวนการแปลงเพียงอย่างเดียวไม่ได้กำหนดขนาดตัวอย่างที่ต้องการ: ต้องระบุอัตราพื้นฐาน ขนาดผล การออกแบบ และสมมติฐานเกี่ยวกับความไม่แน่นอน
- อัตราพื้นฐาน ของเมตริกที่คุณกำลังทดสอบ — CTR สำหรับครีเอทีฟ อัตราการแปลง สำหรับหน้าแลนดิ้งและข้อเสนอ
- ความแตกต่างที่เล็กที่สุดที่คุ้มค่าตรวจพบ การตรวจจับการเพิ่มขึ้น 10% ใช้ปริมาณการเข้าชมแพงกว่าการตรวจจับการเพิ่มขึ้น 50% มาก และการเพิ่มขึ้นเล็กน้อยส่วนใหญ่ไม่คุ้มค่ากับเงินที่ใช้เพื่อเห็นมัน
- ปริมาณรายวันต่อตัวแปร — กำหนดโดยงบประมาณและการประมูลของคุณ
ประมาณจำนวนการสังเกตที่ต้องการภายใต้การออกแบบที่เลือก แล้วหารด้วยจำนวนการสังเกตที่คาดหวังต่อตัวแปรต่อวัน ตรวจสอบว่าช่วงเวลาที่ได้ยังคงเกี่ยวข้องหรือไม่ ระยะเวลาสี่สัปดาห์ไม่ใช่เกณฑ์ความไม่สมบูรณ์แบบอัตโนมัติ
คณิตศาสตร์ขนาดตัวอย่าง ลบปริญญาสถิติออก#
การประมาณการวางแผนคร่าว ๆ หนึ่งแบบสำหรับสัดส่วนอิสระสองกลุ่มใช้การจัดสรรเท่ากัน กรอบเวลาคงที่ ระดับนัยสำคัญ 5% แบบสองด้าน และพลัง 80%:
n ต่อตัวแปร ≈ 16 × p × (1 − p) ÷ d²
โดยที่ p คืออัตราเหตุการณ์พื้นฐานที่สมมติขึ้น และ d คือความแตกต่างของอัตราสัมบูรณ์ ผลลัพธ์นับเป็นการสังเกตต่อตัวแปร เช่น อิมเพรสชันหรือการเข้าชมที่มีสิทธิ์ ไม่ใช่การแปลง การประมาณนี้ต้องตรวจสอบสำหรับผลลัพธ์ที่เกิดน้อย การจัดสรรไม่เท่ากัน ผู้ใช้ซ้ำ การจัดกลุ่ม และความเบี่ยงเบนอื่น ๆ จากการออกแบบ
การคำนวณสมมติ: p=0.005 และ d=0.001 ให้ผลประมาณ 79,600 อิมเพรสชันต่อตัวแปร p=0.02 และ d=0.005 ให้ผลประมาณ 12,544 การเข้าชมที่มีสิทธิ์ต่อตัวแปร หากการเข้าชมแต่ละครั้งมีค่าใช้จ่าย US$0.40 สองกลุ่มจะใช้เงินค่าสื่อประมาณ US$10,035 ก่อนค่าใช้จ่ายอื่น ๆ นี่คือสถานการณ์สำหรับการวางแผน ไม่ใช่มาตรฐานอุตสาหกรรมหรือคำสัญญาว่าจะมีนัยสำคัญ
| สิ่งที่คุณกำลังทดสอบ | อัตราพื้นฐาน | การเพิ่มขึ้นที่ตรวจจับ | ตัวอย่างต่อตัวแปร |
|---|---|---|---|
| CTR (ครีเอทีฟ) | 0.5% | 20% สัมพัทธ์ | ~80,000 อิมเพรสชัน |
| CTR (ครีเอทีฟ) | 0.5% | 50% สัมพัทธ์ | ~13,000 อิมเพรสชัน |
| CVR (หน้าแลนดิ้ง) | 2% | 25% สัมพัทธ์ | ~12,500 คลิก |
| CVR (หน้าแลนดิ้ง) | 2% | 50% สัมพัทธ์ | ~3,100 คลิก |
| CVR (หน้าข้อเสนอ) | 5% | 25% สัมพัทธ์ | ~4,900 คลิก |
ภายใต้การประมาณนี้ การลด d ลงครึ่งหนึ่งทำให้ขนาดตัวอย่างตามแผนเพิ่มขึ้นสี่เท่า CTR และการแปลงตอบคำถามที่ต่างกัน: การปรับปรุง CTR ไม่จำเป็นต้องปรับปรุงกำไรส่วนเพิ่มหรือต้นทุนการได้มา เลือกเมตริกและมาตรการคุ้มครองให้เหมาะกับการตัดสินใจ แทนที่จะสมมติว่าการทดสอบในระดับอิมเพรสชันถูกกว่าหรือเพียงพอเสมอ
เผื่อวงจรที่เกี่ยวข้องและความล่าช้าในการแปลง#
เลือกช่วงเวลาที่เป็นตัวแทนของการเข้าชมที่เกี่ยวข้อง และให้เวลาผลลัพธ์ที่ล่าช้าสุกงอมเพียงพอ รูปแบบรายสัปดาห์อาจมีความสำคัญ แต่เจ็ดวันไม่ใช่ทั้งขั้นต่ำแบบสากลหรือหลักฐานว่าการออกแบบเป็นตัวแทนที่ดี
ขีดจำกัดสูงสุด: การทดสอบที่ยาวนานจะเสื่อมสภาพจากภายใน#
ช่วงเวลาที่นานขึ้นอาจนำมาซึ่งเงื่อนไขที่เปลี่ยนแปลงไป แต่การทดสอบไม่ได้หยุดเป็นการทดลองที่ควบคุมได้โดยอัตโนมัติหลังจากสามหรือสี่สัปดาห์ ประเมินการสุ่ม การเปิดรับพร้อมกัน การคลาดเคลื่อน ผลลัพธ์ที่ล่าช้า และความเกี่ยวข้องในทางปฏิบัติ แล้วแก้ไขการออกแบบหากจำเป็น
อย่าแอบดู — หรืออย่างน้อยอย่าทำตามสิ่งที่แอบดู#
การตรวจสอบการทดสอบแบบกรอบเวลาคงที่ซ้ำ ๆ และหยุดเมื่อพบผลที่มีนัยสำคัญน่าพอใจเป็นครั้งแรกสามารถเปลี่ยนอัตราความผิดพลาดของมันได้ กำหนดการออกแบบและการวิเคราะห์ไว้ล่วงหน้า หรือใช้วิธีการแบบลำดับที่เหมาะสม เงื่อนไขการหยุดเชิงปฏิบัติการนั้นแตกต่างจากการประกาศความสำเร็จทางสถิติ
กฎหยุดทดสอบสำหรับเมื่อคุณจ่ายค่าความมีนัยสำคัญไม่ไหว#
ผู้ซื้อเนทีฟและแอฟฟิลิเอทส่วนใหญ่ไม่สามารถจัดหาเงิน 12,500 คลิกต่อตัวแปรได้ และการแสร้งทำเป็นว่าทำได้ทำให้เกิดความเข้มงวดปลอม ทางเลือกที่ซื่อสัตย์คือการคัดกรองเป็นขั้นตอน — หยาบกว่าการทดสอบความมีนัยสำคัญ และเป็นวิธีปฏิบัติมาตรฐานในหมู่ผู้ซื้อที่ทดสอบครีเอทีฟหลายสิบชิ้นต่อเดือน:
กฎหยุดทางการเงินสามารถจำกัดความเสี่ยงได้ แต่ไม่ได้ยืนยันความมีนัยสำคัญทางสถิติ หากคัดกรองตัวแปรก่อนการทดสอบยืนยัน ต้องคำนึงถึงการคัดเลือกและการเปรียบเทียบหลายครั้ง และใช้หลักฐานใหม่ที่ออกแบบอย่างเหมาะสมสำหรับการตัดสินใจขั้นสุดท้าย กฎ 2–3× CPA หรืออิมเพรสชันสองสามพันครั้งไม่ใช่การยืนยันแบบสากล
ใช้ข้อมูลสังเกตของคู่แข่งเพื่อสร้างสมมติฐาน#
ภาพที่บันทึกจากคู่แข่งสามารถบ่งชี้สมมติฐานเกี่ยวกับครีเอทีฟได้ ช่วงการสังเกต 30 วัน ไม่ได้ยืนยันว่าคู่แข่งผ่านการทดสอบความสามารถในการทำกำไร และการเลือก angle ที่คุ้นเคยไม่ได้ลดขนาดตัวอย่างที่ต้องการสำหรับการออกแบบทางสถิติที่คุณเลือก
ตัวอย่างการทำงานตั้งแต่ต้นจนจบ#
สมมติว่าคุณรันข้อเสนอ lead-gen ที่จ่าย $60 โดยมีแคมเปญหนึ่งทำคลิกราว 1,500 ครั้งต่อวันทั่วเซลล์ทดสอบของคุณ
ในการทดสอบสมมติที่มีการจัดสรรเท่ากันโดย p=0.03 และ d=0.009 การประมาณนี้ให้ผลประมาณ 5,748 การเข้าชมที่มีสิทธิ์ต่อกลุ่ม ที่ 1,500 การเข้าชมที่มีสิทธิ์รวมต่อวัน การเก็บข้อมูลทั้งสองกลุ่มใช้เวลาประมาณ 7.7 วัน ก่อนคำนึงถึงความล่าช้า วงจร หรือข้อกำหนดการออกแบบอื่น ๆ ขั้นการคัดกรองก่อนหน้านี้ไม่ได้รับประกันว่าจะได้ผู้ชนะที่ป้องกันได้หลังจาก 10–12 วัน
ระยะเวลาตามแผนผสมผสานข้อกำหนดขนาดตัวอย่างกับปริมาณการเข้าชมที่มีสิทธิ์ที่คาดหวังและจังหวะเวลาของผลลัพธ์ ไม่ใช่การรับประกันว่าการทดลองจะให้ผู้ชนะที่ชี้ขาดทางสถิติหรือในเชิงพาณิชย์







