การทดสอบ Incrementality: ความหมายและวิธีการทำงาน

การทดสอบ Incrementality เป็นการทดลองแบบควบคุมที่วัดว่าช่องทางโฆษณาของคุณเป็นสาเหตุของการแปลงที่รายงานจริงมากน้อยเพียงใด แทนที่จะวัดว่ามีการแปลงที่แพลตฟอร์มอ้างว่าเป็นผลงานของตัวเองกี่ครั้ง คุณจะกันกลุ่มผู้ใช้หรือพื้นที่ทางภูมิศาสตร์กลุ่มหนึ่งไว้ไม่ให้เห็นโฆษณาของช่องทางเฉพาะนั้น จากนั้นเปรียบเทียบผลลัพธ์กับกลุ่มที่เห็นโฆษณา ช่องว่างที่เหลืออยู่ระหว่างสองกลุ่มคือส่วนที่ช่องทางนั้นมีส่วนเพิ่มขึ้นอย่างแท้จริง ส่วนที่เหลือคือการแปลงที่คงจะเกิดขึ้นอยู่แล้ว

เหตุใดตัวเลขที่แพลตฟอร์มรายงานจึงมักเกินจริง#

ทุกเครือข่ายโฆษณาต้องการได้รับเครดิตสำหรับการขาย หากมีคนที่กำลังจะซื้อผ่านการค้นหาแบบออร์แกนิกหรือคลิกค้นหาแบรนด์อยู่แล้ว และบังเอิญเห็นโฆษณา Remarketing ระหว่างทาง การติดตามการแปลงมาตรฐานก็ยังคงมอบเครดิตนั้นให้กับโฆษณาภายในช่วงเวลาการวัดผล Attributionของมัน แม้แต่เครดิตแบบอ่อนที่แพลตฟอร์มนับการแปลงหลังจากมีคนเพียงแค่เห็นโฆษณา ก็ยิ่งเพิ่มปัญหาเข้าไปอีก กลไกนั้นเรียกว่าการวัดผล Attribution แบบ View-Through การทดสอบ Incrementality ขจัดสัญญาณรบกวนนี้ออกโดยถามคำถามที่ตรงไปตรงมาว่า: หากช่องทางนี้ใช้งบเป็นศูนย์ดอลลาร์ในเดือนนี้ การแปลงนั้นจะยังคงเกิดขึ้นหรือไม่?

นั่นเป็นคำถามที่แตกต่างจากสิ่งที่ Pixel ติดตามตอบได้ด้วยตัวมันเอง นั่นคือเหตุผลที่ทีมที่ใช้งบประมาณ Native หรือ Social หลักแสนดอลลาร์ต่อเดือนในที่สุดก็สร้างโปรแกรมทดสอบ Incrementality ควบคู่ไปกับแดชบอร์ดของแพลตฟอร์ม ไม่ใช่แทนที่แดชบอร์ดเหล่านั้น

ทีมต่างๆ ดำเนินการทดสอบนี้ในทางปฏิบัติอย่างไร#

การออกแบบสองแบบครอบคลุมกรณีจริงส่วนใหญ่ การทดสอบระดับภูมิศาสตร์จะหยุดช่องทางหนึ่งโดยสิ้นเชิงในชุดพื้นที่ที่จับคู่กัน และเปรียบเทียบอัตราการแปลงกับพื้นที่ที่ยังคงใช้จ่ายต่อไป การทดสอบระดับผู้ใช้จะใช้เครื่องมือวัดผลลัพธ์จากการแปลง (Conversion Lift) ในตัวของแพลตฟอร์มโฆษณา ซึ่งมีให้บริการโดยแพลตฟอร์มฝั่งผู้ซื้อ (DSP) หลายแห่ง เพื่อกันโฆษณาจากกลุ่มผู้ชมแบบสุ่ม

ไม่ว่าจะด้วยวิธีใด การคำนวณก็เหมือนกัน: ผลลัพธ์ที่เพิ่มขึ้น (Incremental Lift) เท่ากับอัตราการแปลงของกลุ่มทดสอบลบด้วยอัตราการแปลงของกลุ่มควบคุม ช่องทางที่แสดงROAS ที่รายงานโดยตัวเองว่าสูงในแพลตฟอร์ม อาจแสดงผลลัพธ์ที่เพิ่มขึ้นใกล้ศูนย์เมื่อกลุ่มควบคุมที่สะอาดขจัดผู้ใช้ที่คงจะแปลงอยู่แล้วออกไป

ใช้ทดสอบเพื่ออะไร#

ผู้ซื้อสื่อโฆษณาดำเนินการทดสอบ Incrementality เพื่อตัดสินใจจัดสรรงบประมาณระหว่างเครือข่ายต่างๆ ไม่ใช่เพียงเพื่อตรวจสอบช่องทางเดียวแบบแยกส่วน รูปแบบที่เราเห็นในดัชนี: แบรนด์ที่ใช้มุมครีเอทีฟเดียวกันพร้อมกันในหลายเครือข่าย มักจะคิดว่าทุกช่องทางต่างก็มีส่วนช่วยทั้งสิ้น ในขณะที่การทดสอบ Lift อาจแสดงให้เห็นว่าช่องทางหนึ่งส่วนใหญ่เพียงแค่ดึงกลับความต้องการที่อีกช่องทางหนึ่งสร้างขึ้นแล้ว

ก่อนดำเนินการทดสอบอย่างเป็นทางการ ทีมส่วนใหญ่เริ่มต้นด้วยการดูว่าคู่แข่งในอุตสาหกรรมเดียวกันกำลังขยายการใช้งานช่องทางใดจริงๆ เนื่องจากช่องทางที่เต็มไปด้วยโฆษณาที่มีอายุการใช้งานยาวนาน เป็นตัวแทนที่ค่อนข้างดีของจุดที่งบประมาณเพิ่มเติมมักจะได้ผล เครื่องมือข่าวกรองโฆษณาของ OpenAdLibrary ช่วยให้คุณตรวจสอบความซ้ำซ้อนของครีเอทีฟและระยะเวลาการรันโฆษณาข้ามเครือข่าย ก่อนที่คุณจะมอบงบประมาณโฆษณาให้กับการทดสอบแบบควบคุม

ข้อผิดพลาดทั่วไป#

กลุ่มควบคุมต้องมีขนาดใหญ่พอและสุ่มพอที่จะตรวจจับสัญญาณที่แท้จริง ไม่ใช่แค่สัญญาณรบกวน การทดสอบหนึ่งสัปดาห์บนช่องทางที่มีปริมาณต่ำมักไม่สามารถบรรลุนัยสำคัญทางสถิติได้ ทีมต่างๆ มักจะทำการทดสอบในช่วงฤดูกาลที่มีการใช้งานสูงหรือช่วงโปรโมชั่นทั่วทั้งเว็บไซต์ ซึ่งทำให้ทั้งสองกลุ่มปนเปื้อนเท่าๆ กัน และทำให้ตัวเลขผลลัพธ์ที่เพิ่มขึ้นไม่มีความหมาย ควรทำการทดสอบในช่วงเวลาที่เป็นตัวแทน คำนวณขนาดกลุ่มควบคุมด้วยการคำนวณกำลังทางสถิติที่เหมาะสม และอย่าหยุดเร็วเกินไปเพียงเพราะตัวเลขระหว่างทางดูดี หรือดูแย่