การทดสอบหักกล้าง (โฆษณา): ความหมายและการประยุกต์ใช้

การทดสอบหักกล้างเป็นการออกแบบการทดลองที่ละเว้นไม่แสดงโฆษณาหรือการปฏิบัติทางการตลาดแก่กลุ่มผู้ชมของคุณส่วนหนึ่ง ซึ่งเรียกว่ากลุ่มหักกล้าง ในขณะที่ผู้ชมส่วนที่เหลือยังคงได้รับโฆษณาต่อไป จากนั้นเปรียบเทียบผลลัพธ์ระหว่างสองกลุ่ม เพื่อวัดผลกระทบที่แท้จริงของการรักษานั้น นี่เป็นคำศัพท์ทั่วไปสำหรับการทดลองวัดผลเชิงสาเหตุ (causal-measurement) ที่ใช้ในวงการโฆษณา ซึ่งครอบคลุมทุกอย่างตั้งแต่การหยุดแคมเปญในพื้นที่ (regional pause) ไปจนถึงการทดสอบเพดานความถี่ (frequency-cap test)

กลไกพื้นฐาน#

แบ่งผู้ชมของคุณออกเป็นสองกลุ่มที่คล้ายคลึงกันมากที่สุดในลักษณะที่คาดการณ์เมตริกผลลัพธ์ของคุณ เช่น พฤติกรรมการซื้อในอดีต, ภูมิภาค, ประเภทอุปกรณ์ หรืออะไรก็ตามที่มีความสำคัญต่อธุรกิจของคุณ กลุ่มหนึ่งคือกลุ่มหักกล้าง จะไม่เห็นโฆษณา (หรืออาจเห็นข้อความสาธารณประโยชน์แทน) ส่วนอีกกลุ่มจะเห็นแคมเปญตามปกติ หลังจากช่วงเวลาที่กำหนด ให้เปรียบเทียบอัตราการแปลง, รายได้ หรือเมตริกใดๆ ที่คุณกำลังทดสอบระหว่างสองกลุ่ม ความแตกต่างที่ได้ (หลังจากปรับช่องว่างพื้นฐานระหว่างกลุ่มแล้ว) คือผลกระทบเชิงสาเหตุ (incremental effect) ของการรักษานั้น

เหตุผลที่แพลตฟอร์มสร้างคุณสมบัตินี้มา#

แพลตฟอร์มโฆษณาชั้นนำส่วนใหญ่ที่มี demand-side platform แบบ self-serve ตอนนี้มีเครื่องมือทดสอบการแปลง (conversion-lift) หรือการทดสอบหักกล้างในตัวบ้างแล้ว เนื่องจากผู้โฆษณาต่างถามคำถามเดิมซ้ำๆ ซึ่งแดชบอร์ด conversion tracking ของตัวเองไม่สามารถให้คำตอบที่แท้จริงได้ นั่นคือ การแปลงเหล่านี้จะเกิดขึ้นอยู่แล้วหรือไม่? แดชบอร์ดที่แสดงตัวเลข ROAS ที่ดี กำลังรายงานการแปลงที่เกิดขึ้นร่วม (associated conversions) ไม่ใช่การแปลงที่เกิดจากสาเหตุ (caused ones) โดยตรง มีเพียงการทดสอบหักกล้างที่แท้จริงเท่านั้นที่แยกแยะสองสิ่งนี้ออกจากกัน

การใช้งานการทดสอบหักกล้างตลอดทั้งฟันเนล#

การหักกล้างทั้งช่องทาง (full-channel holdout) คือการหยุดทั้งเครือข่ายหรือช่องทางสำหรับผู้ใช้หรือพื้นที่ย่อยบางส่วน ซึ่งเป็นแนวคิดเบื้องหลังการทดสอบ lift ระดับภูมิภาค การหักกล้างในระดับแคมเปญ (campaign-level holdout) คือการหยุดแคมเปญเฉพาะหนึ่งแคมเปญในขณะที่แคมเปญอื่นๆ ยังคงทำงานต่อ เพื่อแยกผลของแคมเปญนั้นออกจากผลพื้นฐานของช่องทาง การหักกล้างความถี่ (frequency holdout) จำกัดจำนวนครั้งที่ผู้ใช้เห็นโฆษณา จากนั้นเปรียบเทียบผลลัพธ์กับกลุ่มที่ไม่มีการจำกัด เป็นประโยชน์ในการวัด creative fatigue และผลตอบแทนที่ลดลง

ข้อจำกัดในทางปฏิบัติ#

การรันการทดสอบหักกล้างหมายถึงการตั้งใจไม่แสดงโฆษณาให้กับลูกค้าที่สามารถเข้าถึงได้จริงบางส่วน เป็นระยะเวลาทดสอบ ซึ่งมีต้นทุนระยะสั้นที่จับต้องได้ นี่คือสิ่งที่ทีมที่มุ่งเน้นการวัดผลเชิงสาเหตุยอมแลกเปลี่ยนกัน: สละการเข้าถึงและรายได้ระยะสั้นบางส่วนเพื่อแลกกับคำตอบที่น่าเชื่อถือว่าการใช้จ่ายนั้นได้ผลจริงหรือไม่ ขนาดตัวอย่างก็สำคัญเช่นกัน การทดสอบหักกล้างต้องมีปริมาณมากเพียงพอในทั้งสองกลุ่มเพื่อตรวจจับความแตกต่างที่มีนัยสำคัญทางสถิติ การทดสอบช่องทางที่มีปริมาณต่ำหรือแคมเปญสั้นๆ มักจะให้ผลลัพธ์ที่เป็นเพียงสัญญาณรบกวน (noise) เท่านั้น

การอ่านผลลัพธ์ให้ถูกต้อง#

ผลลัพธ์ที่เป็น null คือไม่มีความแตกต่างที่มีนัยสำคัญระหว่างกลุ่มที่ได้รับโฆษณาและกลุ่มหักกล้าง นับเป็นข้อค้นพบที่แท้จริง ไม่ใช่การทดสอบที่ล้มเหลว มันหมายความว่าช่องทางนั้น (อย่างน้อยสำหรับผู้ชมกลุ่มนั้นและในช่วงเวลานั้น) ไม่ได้เพิ่มมูลค่าเชิงสาเหตุ (incremental value) นอกเหนือจากสิ่งที่อาจจะเกิดขึ้นอยู่แล้ว ก่อนจะขยายช่องทางตามตัวเลขที่รายงานได้ดี ควรตรวจสอบว่าคู่แข่งในอุตสาหกรรม (vertical) เดียวกันของคุณกำลังใช้ ad spend หนักในช่องทางนั้นหรือไม่ เนื่องจากช่องทางที่แออัดด้วย creative ที่รันมาเป็นเวลานาน (ดูเพิ่มเติมที่ ad longevity) เป็นตัวบ่งชี้โดยประมาณอย่างหนึ่งว่าการทดสอบหักกล้างมีแนวโน้มจะยืนยัน lift ที่แท้จริงได้ แพลตฟอร์ม ad intelligence ของ OpenAdLibrary ช่วยให้คุณตรวจสอบกิจกรรมดังกล่าวได้ตามเครือข่ายและอุตสาหกรรม ก่อนที่คุณจะใช้งบประมาณสำหรับการทดสอบ