Thời gian chạy thử nghiệm A/B quảng cáo: Toán học kích thước mẫu thực tiễn
Thời gian thử nghiệm A/B là phép tính, không phải truyền thuyết: mẫu cần thiết chia cho số quan sát dự kiến mỗi ngày. Toán học kích thước mẫu được áp dụng, cùng với độ trễ chuyển đổi, quy tắc dừng, và lý do không có mức tối thiểu hay tối đa lịch nào phù hợp với mọi thử nghiệm.

Lập kế hoạch thời gian dựa trên đơn vị thử nghiệm, tỷ lệ cơ sở, hiệu ứng đáng phát hiện, mức chấp nhận sai số, phân bổ và số quan sát dự kiến mỗi ngày. Cũng cần tính đến độ trễ chuyển đổi và các chu kỳ liên quan. Không có ngưỡng số chuyển đổi hay ngưỡng lịch phổ quát nào khiến mọi thử nghiệm quảng cáo trở nên kết luận được.
Thời gian là kết quả, không phải lựa chọn lịch#
Số quan sát dự kiến mỗi biến thể ảnh hưởng đến thời gian cần để đạt mẫu đã hoạch định. Chỉ riêng số chuyển đổi không xác định mẫu cần thiết: hãy nêu rõ tỷ lệ cơ sở, kích thước hiệu ứng, thiết kế và các giả định về độ không chắc chắn.
- Tỷ lệ cơ sở của chỉ số bạn đang thử nghiệm — CTR cho sáng tạo, conversion rate cho landing page và đề nghị.
- Sự khác biệt nhỏ nhất đáng phát hiện. Phát hiện tăng 10% tốn nhiều lưu lượng hơn nhiều so với phát hiện tăng 50%, và hầu hết các tăng nhỏ không đáng để chi tiêu để thấy chúng.
- Khối lượng hàng ngày mỗi biến thể — được xác định bởi ngân sách và giá thầu của bạn.
Ước lượng số quan sát cần thiết theo thiết kế đã chọn và chia cho số quan sát dự kiến mỗi biến thể mỗi ngày. Kiểm tra xem khoảng thời gian thu được có còn phù hợp không; thời lượng bốn tuần không phải là ngưỡng vô hiệu tự động.
Toán học kích thước mẫu, không cần bằng cấp thống kê#
Một xấp xỉ hoạch định thô cho hai tỷ lệ độc lập sử dụng phân bổ bằng nhau, chân trời cố định, mức ý nghĩa 5% hai phía và sức mạnh 80%:
n mỗi biến thể ≈ 16 × p × (1 − p) ÷ d²
Ở đây p là tỷ lệ sự kiện cơ sở giả định và d là chênh lệch tỷ lệ tuyệt đối. Kết quả đếm số quan sát mỗi biến thể, chẳng hạn lượt hiển thị hoặc lượt truy cập đủ điều kiện, không phải số chuyển đổi. Cần kiểm tra xấp xỉ này đối với các kết quả hiếm, phân bổ không bằng nhau, người dùng lặp lại, hiện tượng cụm và những sai lệch khác so với thiết kế.
Các phép tính giả định: p=0.005 và d=0.001 cho khoảng 79,600 lượt hiển thị mỗi biến thể. p=0.02 và d=0.005 cho khoảng 12,544 lượt truy cập đủ điều kiện mỗi biến thể. Nếu mỗi lượt truy cập như vậy tốn US$0.40, hai nhánh tốn khoảng US$10,035 tiền media trước các chi phí khác. Đây là các kịch bản hoạch định, không phải chuẩn ngành hay lời hứa về ý nghĩa thống kê.
| What you're testing | Baseline | Lift to detect | Sample per variant |
|---|---|---|---|
| CTR (creative) | 0.5% | 20% relative | ~80,000 impressions |
| CTR (creative) | 0.5% | 50% relative | ~13,000 impressions |
| CVR (lander) | 2% | 25% relative | ~12,500 clicks |
| CVR (lander) | 2% | 50% relative | ~3,100 clicks |
| CVR (offer page) | 5% | 25% relative | ~4,900 clicks |
Theo xấp xỉ này, giảm một nửa d sẽ làm tăng gấp bốn mẫu hoạch định. CTR và chuyển đổi trả lời những câu hỏi khác nhau: cải thiện CTR không nhất thiết cải thiện đóng góp hay chi phí thu hút. Hãy chọn chỉ số và guardrail xoay quanh quyết định, thay vì giả định rằng thử nghiệm ở mức hiển thị luôn rẻ hơn hoặc đủ.
Tính đến các chu kỳ liên quan và độ trễ chuyển đổi#
Chọn một khoảng thời gian đại diện cho lưu lượng liên quan và cho phép các kết quả bị trễ chín muồi. Các mẫu theo tuần có thể quan trọng, nhưng bảy ngày không phải là mức tối thiểu phổ quát cũng không phải bằng chứng rằng thiết kế là đại diện.
Mức tối đa: các thử nghiệm dài lâu sẽ suy giảm từ bên trong#
Khoảng thời gian dài hơn có thể đưa vào các điều kiện thay đổi, nhưng một thử nghiệm không tự động mất tính kiểm soát sau ba hoặc bốn tuần. Hãy đánh giá việc ngẫu nhiên hóa, phơi nhiễm đồng thời, sự trôi dạt, kết quả bị trễ và tính phù hợp thực tiễn; sửa lại thiết kế nếu cần.
Đừng nhìn trộm — hoặc ít nhất đừng hành động dựa trên những lần nhìn trộm#
Việc liên tục kiểm tra một thử nghiệm có chân trời cố định và dừng ở kết quả có ý nghĩa thuận lợi đầu tiên có thể làm thay đổi tỷ lệ lỗi của nó. Hãy xác định trước thiết kế và phân tích, hoặc dùng một phương pháp tuần tự phù hợp. Các điều kiện dừng vận hành khác với việc tuyên bố thành công về mặt thống kê.
Quy tắc dừng khi bạn không thể chi trả cho ý nghĩa thống kê#
Hầu hết các nhà mua native và affiliate không thể tài trợ 12,500 click mỗi biến thể, và giả vờ có khả năng sẽ tạo ra sự nghiêm ngặt giả. Lựa chọn trung thực là cắt giảm theo giai đoạn — thô hơn so với thử nghiệm ý nghĩa, và là thực tiễn tiêu chuẩn trong số những người mua thử nghiệm hàng chục sáng tạo mỗi tháng:
Một quy tắc dừng tài chính có thể giới hạn mức phơi nhiễm nhưng không thiết lập ý nghĩa thống kê. Nếu sàng lọc các biến thể trước một thử nghiệm xác nhận, hãy tính đến việc lựa chọn và so sánh bội, đồng thời dùng bằng chứng mới, được thiết kế phù hợp cho quyết định cuối cùng. Quy tắc 2–3× CPA hay vài nghìn lượt hiển thị không phải là sự xác nhận phổ quát.
Dùng quan sát đối thủ để hình thành giả thuyết#
Các bản ghi nhận của đối thủ có thể gợi ý các giả thuyết sáng tạo. Khoảng quan sát 30 ngày không thiết lập rằng một đối thủ đã vượt qua kiểm tra lợi nhuận, và việc chọn một góc quen thuộc không làm giảm mẫu cần thiết cho thiết kế thống kê bạn đã chọn.
Một ví dụ thực tế, từ đầu đến cuối#
Giả sử bạn chạy một đề nghị lead-gen trả $60 với một chiến dịch tạo khoảng 1,500 click mỗi ngày trên các ô thử nghiệm của mình.
Trong một thử nghiệm giả định phân bổ bằng nhau với p=0.03 và d=0.009, xấp xỉ cho khoảng 5,748 lượt truy cập đủ điều kiện mỗi nhánh. Với 1,500 lượt truy cập đủ điều kiện mỗi ngày, việc thu thập cả hai nhánh mất khoảng 7.7 ngày trước khi tính đến độ trễ, các chu kỳ hay các yêu cầu thiết kế khác. Một giai đoạn sàng lọc trước đó không đảm bảo có người thắng bảo vệ được sau 10–12 ngày.
Thời lượng hoạch định kết hợp yêu cầu về mẫu với lưu lượng đủ điều kiện dự kiến và thời điểm của các kết quả. Nó không đảm bảo rằng thử nghiệm sẽ tạo ra một người thắng quyết định về mặt thống kê hay thương mại.







