Ý nghĩa thống kê (Kiểm tra quảng cáo)

Ý nghĩa thống kê trong kiểm tra quảng cáo có nghĩa là một sự khác biệt quan sát được giữa hai biến thể, trong CTR, tỷ lệ chuyển đổi, hoặc bất kỳ chỉ số nào khác, không có khả năng là kết quả của ngẫu nhiên mà là do một khoảng cách thực tế về hiệu suất. Nó trả lời câu hỏi mà mọi nhà mua truyền thông cuối cùng cũng đặt ra: biến thể B thực sự tốt hơn, hay chỉ may mắn vì mẫu nhỏ?

Tại sao mẫu nhỏ lại gây nhầm lẫn#

Khi chỉ có một vài lượt click hoặc chuyển đổi, sự biến đổi ngẫu nhiên dễ dàng khiến một quảng cáo trung bình trông như người chiến thắng trong một khoảng thời gian ngắn, và một quảng cáo thực sự mạnh mẽ trông như người thua. Một tiêu đề chuyển đổi ở mức thực tế 3% có thể hiển thị 0% hoặc 10% chỉ với hai mươi lượt truy cập do ngẫu nhiên. Kiểm tra ý nghĩa cân nhắc kích thước mẫu, tỷ lệ chuyển đổi và độ lớn của khoảng cách quan sát để ước tính khả năng kết quả sẽ duy trì khi lưu lượng tăng.

Cách các nhà mua áp dụng mà không cần bằng cấp thống kê#

Hầu hết không tự tính toán bằng tay. Họ sử dụng một công cụ tính toán ý nghĩa miễn phí, nhập số lượt truy cập và chuyển đổi cho mỗi biến thể, và kiểm tra mức độ tin cậy có vượt qua ngưỡng không, thường là 90% hoặc 95%, trước khi quyết định người thắng. Quy tắc thực tiễn ẩn sau tất cả: nhiều chuyển đổi hơn, không chỉ nhiều click hơn, mới thực sự xây dựng độ tin cậy. Một thử nghiệm với hàng ngàn lượt click nhưng chỉ có vài chuyển đổi mỗi biến thể vẫn không đáng tin cậy, bất kể thời gian chạy.

Quy tắc thực tiễn#

Không có kích thước mẫu tối thiểu chung, nó phụ thuộc vào tỷ lệ chuyển đổi cơ bản và độ lớn của sự khác biệt bạn muốn phát hiện. Nhiều nhà mua coi bất kỳ thứ gì dưới vài chục chuyển đổi mỗi biến thể là quá ít để tin tưởng và chờ đợi nhiều hơn đáng kể trước khi tái phân bổ ngân sách lớn. Trên các mạng có lưu lượng thấp như Revcontent hoặc MediaGo so với mạng có lưu lượng cao như Taboola, việc đạt mẫu đáng tin cậy có thể mất nhiều thời gian hơn đáng kể, điều này cần được tính vào mức độ quyết liệt khi cắt giảm các biến thể kém hiệu quả.

Tại sao nó quan trọng ngoài các thử nghiệm riêng của bạn#

Logic tương tự áp dụng khi đánh giá quảng cáo của đối thủ từ bên ngoài. Một mẫu quảng cáo chỉ chạy hai ngày cho bạn ít thông tin hơn so với một quảng cáo đã được xác nhận chạy trong nhiều tuần, vì vậy tuổi thọ của quảng cáo hoạt động như một chỉ báo gián tiếp thô từ bên ngoài: một quảng cáo tồn tại lâu như vậy có khả năng đã vượt qua ngưỡng ý nghĩa nội bộ của mình, mặc dù bạn không thể thấy số liệu thực tế của nhà quảng cáo. OpenAdLibrary ghi lại thời gian mỗi mẫu quảng cáo mà nó thu thập đã được quan sát trên các mạng, cung cấp cho bạn tín hiệu bên ngoài này mà không cần truy cập vào bảng điều khiển của bất kỳ ai. Khám phá nó qua nền tảng tình báo quảng cáo.

Đây cũng là lý do tại sao các nhà mua nên hoài nghi các nghiên cứu điển hình gây chú ý tuyên bố mức tăng trưởng lớn từ một thử nghiệm nhỏ. Những biến động phần trăm lớn trên mẫu nhỏ chính là những gì tiếng ồn ngẫu nhiên tạo ra, và một kết quả hợp lệ nên duy trì khi khối lượng tăng, không chỉ xuất hiện một lần rồi biến mất.