Kiểm tra Holdout (Quảng cáo): Định nghĩa & Ứng dụng

Kiểm tra holdout là một thiết kế thí nghiệm mà giữ lại một quảng cáo hoặc biện pháp tiếp thị khỏi một phần khán giả của bạn, nhóm holdout, trong khi phần còn lại của khán giả vẫn tiếp nhận nó, sau đó so sánh kết quả giữa hai nhóm để đo lường hiệu quả thực sự của biện pháp. Đây là thuật ngữ chung cho họ hàng rộng hơn của các thí nghiệm đo lường nguyên nhân được sử dụng trong quảng cáo, bao gồm mọi thứ từ việc tạm dừng khu vực toàn diện đến một thử nghiệm giới hạn tần suất hẹp.

Cơ chế cơ bản#

Chia khán giả của bạn thành hai nhóm càng giống nhau càng tốt về các đặc điểm dự đoán chỉ số kết quả: hành vi mua hàng trong quá khứ, khu vực, loại thiết bị, bất kỳ yếu tố nào quan trọng với doanh nghiệp của bạn. Một nhóm, nhóm holdout, không thấy quảng cáo (hoặc một thông điệp dịch vụ công cộng thay thế); nhóm còn lại thấy chiến dịch như bình thường. Sau một khoảng thời gian nhất định, so sánh tỷ lệ chuyển đổi, doanh thu hoặc bất kỳ chỉ số nào bạn đang kiểm tra giữa hai nhóm. Sự khác biệt, đã được điều chỉnh cho bất kỳ khoảng cách cơ bản nào giữa các nhóm, là hiệu ứng tăng thêm của biện pháp.

Tại sao các nền tảng xây dựng tính năng này#

Hầu hết các nền tảng quảng cáo lớn với một demand-side platform tự phục vụ demand-side platform hiện cung cấp một dạng nào đó của công cụ lift chuyển đổi hoặc kiểm tra holdout tích hợp, vì các nhà quảng cáo liên tục đặt cùng một câu hỏi mà bảng điều khiển conversion tracking của họ không thể trả lời trung thực: những chuyển đổi này có xảy ra tự nhiên không? Một bảng điều khiển hiển thị số ROAS mạnh chỉ báo cáo các chuyển đổi liên quan, không nhất thiết là các chuyển đổi gây ra, và chỉ có một holdout thực sự mới tách biệt hai khái niệm này.

Nơi kiểm tra holdout được sử dụng trong toàn bộ phễu#

Một holdout toàn kênh tạm dừng toàn bộ mạng hoặc kênh cho một tập hợp người dùng hoặc khu vực, là thiết kế đằng sau một thử nghiệm lift khu vực. Một holdout cấp chiến dịch tạm dừng một chiến dịch cụ thể trong khi các chiến dịch khác tiếp tục, cô lập hiệu ứng của chiến dịch đó khỏi nền tảng cơ bản của kênh. Một holdout tần suất giới hạn số lần một người dùng nhìn thấy quảng cáo, sau đó so sánh kết quả với một nhóm không giới hạn, hữu ích để đo lường creative fatigue và giảm dần lợi nhuận.

Các hạn chế thực tiễn#

Thực hiện một kiểm tra holdout có nghĩa là cố ý không hiển thị quảng cáo cho một số khách hàng thực tế, có thể nhắm tới, trong suốt thời gian thử nghiệm, điều này gây ra chi phí ngắn hạn thực tế. Đó là sự đánh đổi mà mọi đội ngũ tập trung vào tăng trưởng chấp nhận: từ bỏ một phần tiếp cận và doanh thu ngắn hạn để đổi lấy câu trả lời đáng tin cậy về việc chi tiêu có thực sự hiệu quả hay không. Kích thước mẫu cũng quan trọng. Một holdout cần đủ khối lượng trong cả hai nhóm để phát hiện sự khác biệt có ý nghĩa thống kê; thử nghiệm một kênh lưu lượng thấp hoặc một chiến dịch ngắn thường chỉ tạo ra tiếng ồn được đóng gói thành kết quả.

Đọc kết quả một cách chính xác#

Kết quả null, không có sự khác biệt có ý nghĩa giữa các nhóm đã tiếp xúc và holdout, là một phát hiện thực tế, không phải một thử nghiệm thất bại. Nó có nghĩa là kênh, ít nhất trong khán giả và thời gian đó, không tạo ra giá trị tăng thêm so với những gì đã xảy ra tự nhiên. Trước khi mở rộng một kênh dựa trên các số liệu mạnh mẽ được báo cáo, hãy kiểm tra xem các đối thủ trong ngành của bạn có đang chi tiêu mạnh mẽ cho ad spend ở đó không, vì một kênh đầy các sáng tạo kéo dài lâu, xem ad longevity, là một chỉ số thay thế hợp lý cho trường hợp mà các kiểm tra holdout thường xác nhận tăng trưởng thực sự. Nền tảng ad intelligence của OpenAdLibrary cho phép bạn kiểm tra hoạt động đó theo mạng và ngành trước khi cam kết ngân sách thử nghiệm.