นัยสำคัญทางสถิติ (การทดสอบโฆษณา)

นัยสำคัญทางสถิติ ในการทดสอบโฆษณาหมายถึงความแตกต่างที่สังเกตได้ระหว่างสองรูปแบบโฆษณา ใน CTR, อัตรา Conversion หรือเมตริกอื่นใด ไม่น่าจะเป็นผลของความบังเอิญแบบสุ่ม แต่เป็นช่องว่างของประสิทธิภาพจริง มันตอบคำถามที่ผู้ซื้อสื่อทุกคนต้องถามในที่สุด: รูปแบบ B ดีกว่าจริงหรือ หรือแค่โชคดีกับตัวอย่างขนาดเล็ก?

ทำไมตัวอย่างขนาดเล็กถึงหลอกลวง#

ด้วยคลิกหรือ Conversion เพียงหยิบมือ ความผันแปรแบบสุ่มสามารถทำให้โฆษณาธรรมดาดูเหมือนเป็นผู้ชนะในช่วงเวลาสั้นๆ และโฆษณาที่แข็งแกร่งจริงๆ ดูเหมือนผู้แพ้ พาดหัวที่แปลงจริงที่อัตรา 3% สามารถแสดง 0% หรือ 10% กับผู้เยี่ยมชมเพียงยี่สิบคนโดยบังเอิญล้วนๆ การทดสอบนัยสำคัญจะชั่งน้ำหนักขนาดตัวอย่าง อัตรา Conversion และขนาดของช่องว่างที่สังเกตได้ เพื่อประมาณว่าผลลัพธ์มีแนวโน้มที่จะคงอยู่เมื่อมีทราฟฟิกมากขึ้น

ผู้ซื้อนำไปใช้อย่างไรโดยไม่มีปริญญาทางสถิติ#

ส่วนใหญ่ไม่ได้คำนวณด้วยมือ พวกเขาใช้เครื่องคำนวณนัยสำคัญฟรี ป้อนผู้เยี่ยมชมและ Conversion สำหรับแต่ละรูปแบบ และตรวจสอบว่าระดับความเชื่อมั่นเกินเกณฑ์ โดยทั่วไปคือ 90% หรือ 95% ก่อนที่จะประกาศผู้ชนะ กฎปฏิบัติที่อยู่เบื้องหลังทั้งหมดนี้: Conversion ที่มากขึ้น ไม่ใช่แค่คลิกมากขึ้น คือสิ่งที่สร้างความเชื่อมั่นจริงๆ การทดสอบที่มีคลิกเป็นพันแต่ Conversion เพียงหยิบมือต่อรูปแบบยังคงไม่น่าเชื่อถือ ไม่ว่าจะทำงานมานานแค่ไหน

กฎง่ายๆ ในทางปฏิบัติ#

ไม่มีขนาดตัวอย่างขั้นต่ำที่เป็นสากล ขึ้นอยู่กับอัตรา Conversion พื้นฐานและความแตกต่างที่คุณพยายามตรวจจับ ผู้ซื้อจำนวนมากถือว่าสิ่งใดที่มี Conversion ต่ำกว่าสองสามโหลต่อรูปแบบว่าน้อยเกินไปที่จะเชื่อถือ และรอให้มีมากขึ้นอย่างมีนัยสำคัญก่อนจัดสรรงบประมาณจริงจังใหม่ ในเครือข่ายที่มีปริมาณต่ำอย่าง Revcontent หรือ MediaGo เมื่อเทียบกับเครือข่ายปริมาณสูงอย่าง Taboola การถึงตัวอย่างที่เชื่อถือได้อาจใช้เวลานานกว่าอย่างเห็นได้ชัด ซึ่งควรนำมาพิจารณาว่าคุณจะตัดรูปแบบที่ทำงานได้ไม่ดีออกอย่างเข้มงวดเพียงใด

ทำไมมันสำคัญนอกเหนือจากการทดสอบของคุณเอง#

ตรรกะเดียวกันนี้ใช้กับการตัดสินโฆษณาของคู่แข่งจากภายนอก ครีเอทีฟที่ทำงานเพียงสองวันบอกคุณน้อยกว่าครีเอทีฟที่ยืนยันว่าทำงานเป็นสัปดาห์ ซึ่งเป็นเหตุผลที่ อายุโฆษณา ทำหน้าที่เป็นตัวชี้วัดทางอ้อมคร่าวๆ จากภายนอก: โฆษณาที่อยู่รอดนานขนาดนั้นน่าจะผ่านเกณฑ์นัยสำคัญภายในของตัวเองแล้ว แม้ว่าคุณจะไม่เห็นตัวเลขจริงของผู้โฆษณา OpenAdLibrary บันทึกว่าครีเอทีฟแต่ละชิ้นที่รวบรวมไว้ถูกสังเกตเห็นบนเครือข่ายต่างๆ นานเท่าใด ทำให้คุณมีสัญญาณภายนอกนั้นโดยไม่ต้องเข้าถึงแดชบอร์ดของใคร สำรวจผ่าน แพลตฟอร์มข่าวกรองโฆษณา

นี่คือเหตุผลที่ผู้ซื้อควรสงสัยกรณีศึกษาที่โด่งดังซึ่งอ้างว่ามีการเพิ่มขึ้นอย่างมากจากการทดสอบเล็กน้อย การเปลี่ยนแปลงเปอร์เซ็นต์ใหญ่บนตัวอย่างขนาดเล็กคือสิ่งที่สัญญาณรบกวนแบบสุ่มสร้างขึ้น และผลลัพธ์ที่ถูกต้องควรคงอยู่เมื่อปริมาณเพิ่มขึ้น ไม่ใช่แค่ปรากฏครั้งเดียวแล้วหายไป