Kiểm tra Champion / Challenger

Kiểm tra champion/challenger là một phương pháp dựa trên lưu lượng thực để quyết định liệu một quảng cáo, tiêu đề hoặc cài đặt đặt giá mới ("challenger") có thực sự vượt qua phiên bản hiệu quả nhất hiện tại của bạn ("champion") trước khi bạn thay thế nó hay không. Thay vì thử nghiệm mù quáng, bạn giữ người thắng đã được chứng minh đang chạy và chia một phần lưu lượng cho challenger, sau đó so sánh kết quả dưới cùng một điều kiện thị trường.

Nguồn gốc tên gọi#

Thuật ngữ này có trước quảng cáo kỹ thuật số. Các nhà tiếp thị thư trực tiếp và sau đó là các ngân hàng, công ty bảo hiểm đã dùng champion/challenger để mô tả cách một đề nghị đối chứng (champion) bảo vệ vị trí của mình trước các challenger mới, chỉ nhường chỗ khi một challenger chứng minh được giá trị trên dữ liệu phản hồi thực tế. Các nền tảng quảng cáo native và xã hội đã mượn logic này vì nó giải quyết một vấn đề thực tế: các bài kiểm tra A/B thuần túy coi mọi quảng cáo là chưa được chứng minh, nhưng trên thực tế bạn hầu như luôn có một mẫu quảng cáo hiện có đã tạo ra chuyển đổi.

Cách hoạt động trong chiến dịch native#

Giả sử bạn có một tiêu đề đang chạy có lợi nhuận trên Taboola trong ba tuần. Thay vì tạm dừng nó để thử năm hook mới một cách đồng đều, bạn giữ champion nhận phần lớn ngân sách và chuyển một phần lưu lượng nhỏ hơn, cố định cho một hoặc hai challenger. Bạn theo dõi chi phí trên mỗi chuyển đổi và tỷ lệ chuyển đổi trên một mẫu đủ lớn để tin tưởng vào các con số, không chỉ một ngày hay hai. Nếu một challenger thắng champion với khoảng cách có ý nghĩa, nó sẽ trở thành champion mới và vòng lặp tiếp tục. Nếu không, bạn ngừng nó và thử ý tưởng tiếp theo, trong khi quảng cáo gốc vẫn tiếp tục kiếm lợi nhuận.

Điều này quan trọng hơn trên các mạng có thuật toán smart bidding cần khối lượng và thời gian để tối ưu hoá. Việc liên tục thay thế quảng cáo tốt nhất của bạn sẽ đặt lại quá trình tối ưu hoá và có thể kích hoạt một giai đoạn học mới cho thuật toán, vì vậy bảo vệ champion không chỉ là bảo thủ, mà còn thường là con đường nhanh hơn tới hiệu suất tài khoản tổng thể, một chủ đề được đề cập sâu hơn trong cách quảng cáo Taboola hoạt động.

Champion/challenger vs. kiểm tra A/B truyền thống#

Kiểm tra A/B thường ngụ ý hai yếu tố chưa biết cạnh tranh từ đầu với tỷ lệ chia đều. Champion/challenger giả định một phía đã có lịch sử, vì vậy tỷ lệ chia thường không đều (ví dụ 80/20 hoặc 90/10) và mức tiêu chuẩn để challenger thắng cao hơn, vì bạn không chỉ tìm "tốt hơn" mà còn "tốt hơn so với một thứ đã được chứng minh". Các nhà mua hàng nghiên cứu cách tìm quảng cáo chiến thắng trong một ngành sẽ nhận ra bản năng này: mẫu quảng cáo chạy lâu của đối thủ có lẽ là champion hiện tại của nhà quảng cáo đó, và các biến thể mới mà bạn thấy họ thử nghiệm có thể là challenger họ đang đưa ra đối đầu với nó.

Sử dụng dữ liệu cạnh tranh để tạo challenger#

Một cách thực tế để sử dụng champion/challenger ngoài tài khoản của bạn là khai thác những gì đã tồn tại ở nơi khác. Nếu quảng cáo của đối thủ được ghi nhận đã chạy trong nhiều tuần trên Outbrain hoặc MGID, nhiều khả năng nó đã vượt qua các vòng challenger nội bộ của mình. Nghiên cứu hook và góc độ của nó giúp bạn có một challenger khởi đầu mạnh hơn so với việc đoán mò, đó là một phần lý do tại sao công cụ tình báo quảng cáo của OpenAdLibrary tồn tại: chúng cho thấy các mẫu quảng cáo trên thị trường đã được ghi nhận chạy trong bao lâu, một tín hiệu sơ bộ về mẫu nào đã giữ được vị trí, trước khi bạn tiêu ngân sách để tự khám phá.

Những sai lầm thường gặp#

Hai chế độ thất bại là công bố người thắng quá sớm, trước khi mẫu dữ liệu đủ lớn, và không bao giờ loại bỏ champion ngay cả khi challenger đã vượt trội rõ rệt vì lý do tình cảm hoặc lười biếng. Cả hai đều lãng phí ngân sách. Một quy tắc viết (ví dụ, mức chi tiêu tối thiểu hoặc số lượng chuyển đổi trước khi so sánh kết quả, và một việc hoán đổi tự động khi ngưỡng đó được vượt qua) loại bỏ việc đoán mò và cám dỗ nhìn vào các con số ồn trong giai đoạn đầu.