การทดสอบ Incrementality: ความหมายและวิธีการทำงาน

การทดสอบ Incrementality เป็นการทดลองแบบควบคุมที่ประเมินว่าโฆษณาเป็นสาเหตุของกิจกรรมการแปลงที่รายงานสำหรับช่องทางโฆษณาจริงมากน้อยเพียงใด แทนที่จะพึ่งพาการแปลงที่ระบบติดตามของแพลตฟอร์มอ้างว่าเป็นผลงานของโฆษณา คุณจะกันกลุ่มผู้ใช้หรือพื้นที่ทางภูมิศาสตร์กลุ่มหนึ่งไว้ไม่ให้เห็นโฆษณาของช่องทางเฉพาะนั้น จากนั้นเปรียบเทียบผลลัพธ์กับกลุ่มที่เห็นโฆษณา การทดสอบที่ออกแบบมาอย่างดีจะอ่านช่องว่างระหว่างสองกลุ่มเป็นค่าประมาณของผลกระทบส่วนเพิ่มของช่องทางนั้นสำหรับกลุ่มผู้ชม ช่วงเวลา และการตั้งค่านั้น พร้อมรายงานความไม่แน่นอนของค่านั้น ส่วนผลลัพธ์ที่ยังคงอยู่ในกลุ่มควบคุมคือผลลัพธ์ที่เกิดขึ้นโดยไม่มีโฆษณา

เหตุใดตัวเลขที่แพลตฟอร์มรายงานจึงอาจแตกต่างจากผลลัพธ์ส่วนเพิ่ม#

แพลตฟอร์มโฆษณาให้เครดิตการแปลงกับโฆษณาโดยใช้กฎของตัวเอง หากมีคนที่กำลังจะซื้อผ่านการค้นหาแบบออร์แกนิกหรือคลิกค้นหาแบรนด์อยู่แล้ว และบังเอิญเห็นโฆษณา Remarketing ระหว่างทาง การติดตามการแปลงมาตรฐานก็ยังคงมอบเครดิตนั้นให้กับโฆษณาภายในช่วงเวลาการวัดผล Attributionของมัน เครดิตแบบอ่อนกว่า ซึ่งแพลตฟอร์มนับการแปลงหลังจากมีคนเพียงแค่เห็นโฆษณา ยิ่งเพิ่มช่องว่างนี้เข้าไปอีก กลไกนั้นเรียกว่าการวัดผล Attribution แบบ View-Through ดังนั้นการแปลงที่แพลตฟอร์มรายงานจึงไม่ใช่สิ่งเดียวกับการแปลงที่โฆษณาของแพลตฟอร์มเป็นสาเหตุ การทดสอบ Incrementality ถามคำถามที่แตกต่างออกไป: หากช่องทางนี้ไม่ได้ลงโฆษณา การแปลงนั้นจะยังคงเกิดขึ้นหรือไม่?

นั่นเป็นคำถามที่แตกต่างจากคำถามที่ Pixel ติดตามตอบได้ด้วยตัวมันเอง ดังนั้นการทดสอบ Incrementality จึงถูกใช้ควบคู่ไปกับแดชบอร์ดของแพลตฟอร์ม ไม่ใช่แทนที่แดชบอร์ดเหล่านั้น

ทีมต่างๆ ดำเนินการทดสอบนี้ในทางปฏิบัติอย่างไร#

มีการออกแบบหลายแบบที่ใช้กัน การทดสอบระดับภูมิศาสตร์จะกำหนดให้ภูมิภาคต่างๆ อยู่ในเงื่อนไขทดสอบหรือเงื่อนไขควบคุม เช่น โดยการรันโฆษณาของช่องทางหนึ่งในบางภูมิภาคและระงับโฆษณาในภูมิภาคอื่น แล้วเปรียบเทียบผลลัพธ์ เช่น ยอดขายหรือการแปลง ระหว่างภูมิภาคเหล่านั้น การทดลองเชิงภูมิศาสตร์ของ Google จะสุ่มกำหนดภูมิภาคที่ไม่ทับซ้อนกัน ขณะที่ GeoLift ของ Meta สร้างกลุ่มควบคุมแบบสังเคราะห์ (synthetic control) จากภูมิภาคที่ไม่ได้รับการดูแล การทดสอบระดับผู้ใช้ใช้เครื่องมือวัดผล Conversion Lift ของแพลตฟอร์มโฆษณา: Conversion Lift ของ Meta จะสุ่มกำหนดผู้คนเข้ากลุ่มทดสอบที่เห็นโฆษณาและกลุ่มควบคุมที่ไม่เห็นโฆษณา ส่วน Google Ads Conversion Lift มีการศึกษาทั้งแบบอิงผู้ใช้และแบบอิงภูมิศาสตร์ แม้ว่า Google ระบุว่าไม่พร้อมให้บริการสำหรับทุกบัญชี

วิธีประเมินผลกระทบนั้นขึ้นอยู่กับการออกแบบ ในการทดสอบระดับผู้ใช้แบบสุ่ม ค่าประมาณคือความแตกต่างของผลลัพธ์ระหว่างกลุ่มทดสอบกับกลุ่มควบคุม ซึ่งรายงานได้ทั้งในรูปการแปลงส่วนเพิ่มหรือเป็นเปอร์เซ็นต์เทียบกับกลุ่มควบคุม ตัวอย่างสมมติ: หากผู้ใช้กลุ่มทดสอบ 10,000 คนสร้างการแปลง 300 ครั้ง และผู้ใช้กลุ่มควบคุม 10,000 คนสร้างการแปลง 250 ครั้ง ผลลัพธ์ที่เพิ่มขึ้นโดยประมาณคือ 50 การแปลง หรือ 20% เทียบกับกลุ่มควบคุม แม้ว่าแพลตฟอร์มจะให้เครดิตการแปลงทั้ง 300 ครั้งกับโฆษณาของตนก็ตาม การทดสอบระดับภูมิศาสตร์มักไม่ใช้การลบแบบง่ายๆ นั้น แต่จะเปรียบเทียบภูมิภาคที่ได้รับการดูแลกับสิ่งที่แบบจำลอง เช่น กลุ่มควบคุมแบบสังเคราะห์ที่สร้างจากภูมิภาคที่ไม่ได้รับการดูแล บอกว่าภูมิภาคเหล่านั้นน่าจะสร้างได้หากไม่มีโฆษณา ช่องทางที่มีROAS ที่แพลตฟอร์มรายงานว่าสูงอาจแสดงผลกระทบส่วนเพิ่มที่เล็กกว่ามากในการทดสอบ ขนาดของช่องว่างนั้นขึ้นอยู่กับช่องทาง กลุ่มผู้ชม และช่วงเวลาการวัดผล

ใช้ทดสอบเพื่ออะไร#

ผู้ซื้อสื่อโฆษณาใช้การทดสอบ Incrementality เพื่อเป็นข้อมูลประกอบการจัดสรรงบประมาณระหว่างเครือข่ายต่างๆ ไม่ใช่เพียงเพื่อตรวจสอบช่องทางเดียวแบบแยกส่วน ผลลัพธ์หนึ่งๆ อธิบายถึงกลุ่มผู้ชม ช่วงเวลา และระดับการใช้จ่ายที่ถูกทดสอบ

คลังโฆษณาสาธารณะไม่สามารถวัด Incrementality ได้ โฆษณาที่ถูกพบเห็นเป็นเวลานานไม่ได้แสดงว่าโฆษณานั้นก่อให้เกิดการแปลงเพิ่มเติม เพราะอายุการใช้งานโฆษณาบันทึกว่าโฆษณาถูกพบเห็นนานแค่ไหน ไม่ใช่การใช้จ่ายหรือผลลัพธ์ สิ่งที่คลังโฆษณาเสนอได้คือสมมติฐาน: หน้าข่าวกรองโฆษณาของ OpenAdLibrary แสดงว่าผู้ลงโฆษณารายหนึ่งถูกพบว่าใช้ครีเอทีฟและเครือข่ายใดบ้าง และนานแค่ไหน ซึ่งช่วยให้คุณตัดสินใจได้ว่าจะทดสอบอะไรกับกลุ่มควบคุมของคุณเอง ก่อนที่คุณจะมอบงบประมาณโฆษณาให้กับการทดสอบ

ข้อผิดพลาดทั่วไป#

กลุ่มควบคุมต้องมีขนาดใหญ่พอ และถูกกำหนดแบบสุ่มหรือจับคู่อย่างรอบคอบพอที่จะตรวจจับสัญญาณที่แท้จริง ไม่ใช่แค่สัญญาณรบกวน การทดสอบระยะสั้นบนช่องทางที่มีปริมาณต่ำอาจมีการแปลงไม่พอที่จะตรวจจับผลกระทบ และเอกสารประกอบ GeoLift ของ Meta เตือนว่าการทำการทดสอบเชิงภูมิศาสตร์โดยไม่มีการวิเคราะห์กำลังทางสถิติล่วงหน้ามีโอกาสสูงที่จะหาผลลัพธ์ที่เพิ่มขึ้นไม่พบแม้ว่ามันจะมีอยู่จริง ช่วงฤดูกาลที่มีการใช้งานสูงหรือโปรโมชั่นทั่วทั้งเว็บไซต์ไม่ได้ทำให้การทดสอบแบบสุ่มใช้ไม่ได้ไปเสียทีเดียว เพราะทั้งสองกลุ่มต่างก็เจอเหตุการณ์นั้น แต่ผลลัพธ์ที่เพิ่มขึ้นที่วัดได้จะอธิบายถึงช่วงเวลานั้นและอาจไม่เป็นจริงในสัปดาห์ปกติ เหตุการณ์ที่ไปถึงเพียงกลุ่มเดียว เช่น โปรโมชั่นระดับภูมิภาคในการทดสอบเชิงภูมิศาสตร์ อาจทำให้ผลลัพธ์มีความลำเอียง ดังนั้นควรรักษากิจกรรมทางการตลาดอื่นๆ ให้คงที่ทั้งในภูมิภาคทดสอบและภูมิภาคควบคุม ควรทำการทดสอบในช่วงเวลาที่เป็นตัวแทนซึ่งครอบคลุมรอบการซื้ออย่างน้อยหนึ่งรอบ กำหนดขนาดกลุ่มควบคุมด้วยการคำนวณกำลังทางสถิติ และอย่าหยุดเร็วเกินไปเพียงเพราะตัวเลขระหว่างทางดูดี หรือดูแย่