廣告 A/B 測試該跑多久?讓樣本數計算變得實用
A/B 測試時長是算術問題,而非經驗法則:所需樣本數除以預期每日觀察數。讓樣本數計算變得實用,再加上轉換延遲、停止規則,以及為何沒有任何日曆底線或上限能套用於每一項測試。

規劃時長時,應從實驗單位、基準率、值得檢測的效果、誤差容忍度、分配方式與每日預期觀察數出發。同時也要將轉換延遲與相關週期納入考量。沒有任何通用的轉換數或日曆門檻,能讓每一項廣告測試都得出定論。
時長是結果,而非日曆選擇#
每個變體的預期觀察數會影響達到計畫樣本所需的時間。單靠轉換數並不能界定所需樣本:必須指定基準率、效果量、設計與不確定性假設。
- 你測試指標的基準率——創意測試用 CTR,登陸頁和產品測試用轉換率。
- 值得檢測的最小差異。檢測 10% 的提升所需的流量遠多於檢測 50% 的提升,而大多數小幅提升不值得為檢測它們所花費的支出。
- 每個變體的每日流量——由你的預算和出價決定。
在所選設計下估算所需觀察數,再除以每個變體每日的預期觀察數。檢查得出的時間窗是否仍具相關性;四週的時長並非自動失效的門檻。
樣本數計算,無需統計學位#
針對兩個獨立比例的一種粗略規劃近似,採用均等分配、固定時間範圍、雙尾 5% 顯著水準與 80% 檢定力:
每個變體 n ≈ 16 × p × (1 − p) ÷ d²
此處 p 是假設的基準事件率,d 是絕對比率差異。計算結果是每個變體的觀察數,例如曝光次數或符合條件的造訪,而非轉換數。對於罕見結果、不均等分配、重複使用者、群聚以及其他偏離設計的情況,這個近似值都需要進一步檢查。
假設計算:p=0.005 且 d=0.001,每個變體約可得出 79,600 次曝光。p=0.02 且 d=0.005,每個變體約可得出 12,544 次符合條件的造訪。若每次這類造訪花費 US$0.40,兩個分支的媒體費用約為 US$10,035,尚未計入其他成本。這些都是規劃情境,並非業界基準,也不保證能達到顯著性。
| 測試項目 | 基準率 | 欲檢測的提升幅度 | 每個變體所需樣本 |
|---|---|---|---|
| CTR (創意) | 0.5% | 相對 20% | ~80,000 次曝光 |
| CTR (創意) | 0.5% | 相對 50% | ~13,000 次曝光 |
| CVR (登陸頁) | 2% | 相對 25% | ~12,500 次點擊 |
| CVR (登陸頁) | 2% | 相對 50% | ~3,100 次點擊 |
| CVR (產品頁) | 5% | 相對 25% | ~4,900 次點擊 |
在此近似下,將 d 減半會使計畫樣本變成四倍。CTR 與轉換率回答的是不同問題:CTR 的提升未必能改善貢獻或獲取成本。應依決策選擇指標與防護欄,而非假設曝光層級的測試總是更便宜或已足夠。
為相關週期與轉換延遲預留空間#
選擇一個能代表相關流量、並讓延遲結果有時間成熟的時間窗。每週模式可能很重要,但七天既不是普遍的最低要求,也不能證明該設計具有代表性。
上限:長期測試會從內部腐壞#
較長的時間窗可能引入不斷變化的條件,但測試不會在經過三、四週後就自動失去受控性。應評估隨機化、同時期曝光、漂移、延遲結果與實務相關性;如有需要,修訂設計。
不要窺探——或者至少不要根據窺探結果採取行動#
對固定時間範圍的測試反覆檢查,並在第一次出現有利的顯著性結果時就停止,可能會改變其錯誤率。應事先指定設計與分析方式,或採用適當的序貫方法。營運上的停止條件與統計上的成功宣告是兩回事。
當你負擔不起顯著性測試時的終止規則#
大多數原生廣告和聯盟行銷買家無法為每個變體提供 12,500 次點擊的資金,假裝可以只會產生虛假的嚴謹度。誠實的替代方案是分階段淘汰——比顯著性測試更粗糙,但卻是每月測試數十個創意的買家們的標準做法:
財務性的停止規則可以限制曝險,但無法確立統計顯著性。若在確認性測試之前先篩選變體,需考量選擇效應與多重比較,並以全新且設計適當的證據做出最終決定。2–3 倍 CPA 的規則或幾千次曝光,並非普遍適用的驗證。
用競爭對手的觀察來形成假設#
競爭對手的截取資料可以提供創意假設。30 天的觀察期 並不能確立競爭對手通過了獲利測試,而選擇熟悉的角度也不會減少你所選統計設計所需的樣本數。
一個從頭到尾的完整範例#
假設你運行一個支付 $60 的潛在客戶開發產品,有一個廣告活動每天在你的測試單元中產生大約 1,500 次點擊。
在一個 p=0.03、d=0.009 的假設性均等分配測試中,此近似值每個分支約可得出 5,748 次符合條件的造訪。若每天共有 1,500 次符合條件的造訪,收集兩個分支約需 7.7 天,尚未計入延遲、週期或其他設計要求。較早的篩選階段並不保證在 10–12 天後就能得出站得住腳的贏家。
計畫時長是將樣本需求與預期的符合條件流量及結果出現的時間結合起來。它並不保證實驗會產生統計上或商業上具決定性的贏家。







