OpenAdLibraryOpenAdLibrary
Sáng Tạo Quảng Cáo & Hành Trình Chuyển Đổi

Thời gian chạy thử nghiệm A/B quảng cáo: Toán học kích thước mẫu thực tiễn

Thời gian thử nghiệm A/B là phép tính, không phải truyền thuyết: mẫu cần thiết chia cho số quan sát dự kiến mỗi ngày. Toán học kích thước mẫu được áp dụng, cùng với độ trễ chuyển đổi, quy tắc dừng, và lý do không có mức tối thiểu hay tối đa lịch nào phù hợp với mọi thử nghiệm.

Minh hoạ biên tập: Thời gian chạy thử nghiệm A/B quảng cáo: Toán học kích thước mẫu thực tiễn

Lập kế hoạch thời gian dựa trên đơn vị thử nghiệm, tỷ lệ cơ sở, hiệu ứng đáng phát hiện, mức chấp nhận sai số, phân bổ và số quan sát dự kiến mỗi ngày. Cũng cần tính đến độ trễ chuyển đổi và các chu kỳ liên quan. Không có ngưỡng số chuyển đổi hay ngưỡng lịch phổ quát nào khiến mọi thử nghiệm quảng cáo trở nên kết luận được.

Thời gian là kết quả, không phải lựa chọn lịch#

Số quan sát dự kiến mỗi biến thể ảnh hưởng đến thời gian cần để đạt mẫu đã hoạch định. Chỉ riêng số chuyển đổi không xác định mẫu cần thiết: hãy nêu rõ tỷ lệ cơ sở, kích thước hiệu ứng, thiết kế và các giả định về độ không chắc chắn.

  • Tỷ lệ cơ sở của chỉ số bạn đang thử nghiệm — CTR cho sáng tạo, conversion rate cho landing page và đề nghị.
  • Sự khác biệt nhỏ nhất đáng phát hiện. Phát hiện tăng 10% tốn nhiều lưu lượng hơn nhiều so với phát hiện tăng 50%, và hầu hết các tăng nhỏ không đáng để chi tiêu để thấy chúng.
  • Khối lượng hàng ngày mỗi biến thể — được xác định bởi ngân sách và giá thầu của bạn.

Ước lượng số quan sát cần thiết theo thiết kế đã chọn và chia cho số quan sát dự kiến mỗi biến thể mỗi ngày. Kiểm tra xem khoảng thời gian thu được có còn phù hợp không; thời lượng bốn tuần không phải là ngưỡng vô hiệu tự động.

Toán học kích thước mẫu, không cần bằng cấp thống kê#

Một xấp xỉ hoạch định thô cho hai tỷ lệ độc lập sử dụng phân bổ bằng nhau, chân trời cố định, mức ý nghĩa 5% hai phía và sức mạnh 80%:

n mỗi biến thể ≈ 16 × p × (1 − p) ÷ d²

Ở đây p là tỷ lệ sự kiện cơ sở giả định và d là chênh lệch tỷ lệ tuyệt đối. Kết quả đếm số quan sát mỗi biến thể, chẳng hạn lượt hiển thị hoặc lượt truy cập đủ điều kiện, không phải số chuyển đổi. Cần kiểm tra xấp xỉ này đối với các kết quả hiếm, phân bổ không bằng nhau, người dùng lặp lại, hiện tượng cụm và những sai lệch khác so với thiết kế.

Các phép tính giả định: p=0.005 và d=0.001 cho khoảng 79,600 lượt hiển thị mỗi biến thể. p=0.02 và d=0.005 cho khoảng 12,544 lượt truy cập đủ điều kiện mỗi biến thể. Nếu mỗi lượt truy cập như vậy tốn US$0.40, hai nhánh tốn khoảng US$10,035 tiền media trước các chi phí khác. Đây là các kịch bản hoạch định, không phải chuẩn ngành hay lời hứa về ý nghĩa thống kê.

What you're testing Baseline Lift to detect Sample per variant
CTR (creative) 0.5% 20% relative ~80,000 impressions
CTR (creative) 0.5% 50% relative ~13,000 impressions
CVR (lander) 2% 25% relative ~12,500 clicks
CVR (lander) 2% 50% relative ~3,100 clicks
CVR (offer page) 5% 25% relative ~4,900 clicks

Theo xấp xỉ này, giảm một nửa d sẽ làm tăng gấp bốn mẫu hoạch định. CTR và chuyển đổi trả lời những câu hỏi khác nhau: cải thiện CTR không nhất thiết cải thiện đóng góp hay chi phí thu hút. Hãy chọn chỉ số và guardrail xoay quanh quyết định, thay vì giả định rằng thử nghiệm ở mức hiển thị luôn rẻ hơn hoặc đủ.

Tính đến các chu kỳ liên quan và độ trễ chuyển đổi#

Chọn một khoảng thời gian đại diện cho lưu lượng liên quan và cho phép các kết quả bị trễ chín muồi. Các mẫu theo tuần có thể quan trọng, nhưng bảy ngày không phải là mức tối thiểu phổ quát cũng không phải bằng chứng rằng thiết kế là đại diện.

Mức tối đa: các thử nghiệm dài lâu sẽ suy giảm từ bên trong#

Khoảng thời gian dài hơn có thể đưa vào các điều kiện thay đổi, nhưng một thử nghiệm không tự động mất tính kiểm soát sau ba hoặc bốn tuần. Hãy đánh giá việc ngẫu nhiên hóa, phơi nhiễm đồng thời, sự trôi dạt, kết quả bị trễ và tính phù hợp thực tiễn; sửa lại thiết kế nếu cần.

Đừng nhìn trộm — hoặc ít nhất đừng hành động dựa trên những lần nhìn trộm#

Việc liên tục kiểm tra một thử nghiệm có chân trời cố định và dừng ở kết quả có ý nghĩa thuận lợi đầu tiên có thể làm thay đổi tỷ lệ lỗi của nó. Hãy xác định trước thiết kế và phân tích, hoặc dùng một phương pháp tuần tự phù hợp. Các điều kiện dừng vận hành khác với việc tuyên bố thành công về mặt thống kê.

Quy tắc dừng khi bạn không thể chi trả cho ý nghĩa thống kê#

Hầu hết các nhà mua native và affiliate không thể tài trợ 12,500 click mỗi biến thể, và giả vờ có khả năng sẽ tạo ra sự nghiêm ngặt giả. Lựa chọn trung thực là cắt giảm theo giai đoạn — thô hơn so với thử nghiệm ý nghĩa, và là thực tiễn tiêu chuẩn trong số những người mua thử nghiệm hàng chục sáng tạo mỗi tháng:

Một quy tắc dừng tài chính có thể giới hạn mức phơi nhiễm nhưng không thiết lập ý nghĩa thống kê. Nếu sàng lọc các biến thể trước một thử nghiệm xác nhận, hãy tính đến việc lựa chọn và so sánh bội, đồng thời dùng bằng chứng mới, được thiết kế phù hợp cho quyết định cuối cùng. Quy tắc 2–3× CPA hay vài nghìn lượt hiển thị không phải là sự xác nhận phổ quát.

Dùng quan sát đối thủ để hình thành giả thuyết#

Các bản ghi nhận của đối thủ có thể gợi ý các giả thuyết sáng tạo. Khoảng quan sát 30 ngày không thiết lập rằng một đối thủ đã vượt qua kiểm tra lợi nhuận, và việc chọn một góc quen thuộc không làm giảm mẫu cần thiết cho thiết kế thống kê bạn đã chọn.

Một ví dụ thực tế, từ đầu đến cuối#

Giả sử bạn chạy một đề nghị lead-gen trả $60 với một chiến dịch tạo khoảng 1,500 click mỗi ngày trên các ô thử nghiệm của mình.

Trong một thử nghiệm giả định phân bổ bằng nhau với p=0.03 và d=0.009, xấp xỉ cho khoảng 5,748 lượt truy cập đủ điều kiện mỗi nhánh. Với 1,500 lượt truy cập đủ điều kiện mỗi ngày, việc thu thập cả hai nhánh mất khoảng 7.7 ngày trước khi tính đến độ trễ, các chu kỳ hay các yêu cầu thiết kế khác. Một giai đoạn sàng lọc trước đó không đảm bảo có người thắng bảo vệ được sau 10–12 ngày.

Thời lượng hoạch định kết hợp yêu cầu về mẫu với lưu lượng đủ điều kiện dự kiến và thời điểm của các kết quả. Nó không đảm bảo rằng thử nghiệm sẽ tạo ra một người thắng quyết định về mặt thống kê hay thương mại.

Câu hỏi thường gặp

Tôi cần bao nhiêu chuyển đổi cho mỗi biến thể trong thử nghiệm A/B quảng cáo?
Số quan sát cần thiết phụ thuộc vào tỷ lệ cơ sở, hiệu ứng tuyệt đối, sức mạnh, mức chấp nhận sai số và thiết kế. Công thức được trình bày là một xấp xỉ thô cho các tỷ lệ độc lập, không phải một quy tắc chính xác về số chuyển đổi.
3 ngày có đủ dài để chạy thử nghiệm A/B quảng cáo không?
Điều đó phụ thuộc vào thiết kế, lưu lượng đủ điều kiện, các chu kỳ liên quan và độ trễ kết quả. 3 ngày có thể quá ngắn cho một câu hỏi cụ thể, nhưng bảy ngày không phải là ngưỡng hợp lệ phổ quát.
Tôi nên thử nghiệm quảng cáo dựa trên CTR hay tỷ lệ chuyển đổi?
Hãy chọn chỉ số cho quyết định và bao gồm các guardrail ở hạ nguồn. CTR và tỷ lệ chuyển đổi trả lời những câu hỏi khác nhau; bài viết này không thiết lập một chênh lệch chi phí phổ quát 10–100×.
Điều gì xảy ra nếu tôi dừng thử nghiệm A/B ngay khi đạt ý nghĩa thống kê?
Bạn sẽ làm tăng tỷ lệ dương tính giả một cách đáng kể. Kiểm tra hàng ngày và dừng ngay khi có kết quả có ý nghĩa nghĩa là nhiều "người thắng" chỉ là nhiễu mà sẽ giảm sút khi có thêm dữ liệu — vấn đề nhìn trộm cổ điển. Hãy cam kết trước kích thước mẫu, chỉ dùng kiểm tra hàng ngày cho các điều kiện dừng lỗ như theo dõi bị hỏng hoặc chi tiêu vượt mức, và đánh giá một lần khi mẫu đã hoàn thiện.
Tại sao biến thể quảng cáo thắng của tôi lại ngừng thắng sau khi thử nghiệm?
Các giải thích có thể bao gồm sự không chắc chắn, thiên lệch lựa chọn, lưu lượng thay đổi, kết quả bị trễ và những thay đổi thực tế về hiệu suất. Bài viết chưa xác lập nguyên nhân thường gặp nào; hãy kiểm tra thiết kế và dữ liệu sau đó.
Đội ngũ OpenAdLibrary
Người viếtĐội ngũ OpenAdLibrary
Nghiên cứu quảng cáo thông minh và quảng cáo native

Chúng tôi xây dựng OpenAdLibrary, nền tảng minh bạch quảng cáo mở. Hàng ngày, hệ thống của chúng tôi thu thập các quảng cáo native trực tiếp trên Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo và MSN, xác định nhà quảng cáo thực sự đằng sau mỗi quảng cáo và theo dõi lượt nhấp đến trang đích. Những hướng dẫn này chắt lọc những gì chúng tôi thấy trong dữ liệu đó để bạn có thể nghiên cứu thị trường nhanh hơn.