OpenAdLibraryOpenAdLibrary
廣告創意與轉換漏斗

廣告 A/B 測試該跑多久?讓樣本數計算變得實用

A/B 測試時長是算術問題,而非經驗法則:所需樣本數除以預期每日觀察數。讓樣本數計算變得實用,再加上轉換延遲、停止規則,以及為何沒有任何日曆底線或上限能套用於每一項測試。

編輯插圖:廣告 A/B 測試該跑多久?讓樣本數計算變得實用

規劃時長時,應從實驗單位、基準率、值得檢測的效果、誤差容忍度、分配方式與每日預期觀察數出發。同時也要將轉換延遲與相關週期納入考量。沒有任何通用的轉換數或日曆門檻,能讓每一項廣告測試都得出定論。

時長是結果,而非日曆選擇#

每個變體的預期觀察數會影響達到計畫樣本所需的時間。單靠轉換數並不能界定所需樣本:必須指定基準率、效果量、設計與不確定性假設。

  • 你測試指標的基準率——創意測試用 CTR,登陸頁和產品測試用轉換率。
  • 值得檢測的最小差異。檢測 10% 的提升所需的流量遠多於檢測 50% 的提升,而大多數小幅提升不值得為檢測它們所花費的支出。
  • 每個變體的每日流量——由你的預算和出價決定。

在所選設計下估算所需觀察數,再除以每個變體每日的預期觀察數。檢查得出的時間窗是否仍具相關性;四週的時長並非自動失效的門檻。

樣本數計算,無需統計學位#

針對兩個獨立比例的一種粗略規劃近似,採用均等分配、固定時間範圍、雙尾 5% 顯著水準與 80% 檢定力:

每個變體 n ≈ 16 × p × (1 − p) ÷ d²

此處 p 是假設的基準事件率,d 是絕對比率差異。計算結果是每個變體的觀察數,例如曝光次數或符合條件的造訪,而非轉換數。對於罕見結果、不均等分配、重複使用者、群聚以及其他偏離設計的情況,這個近似值都需要進一步檢查。

假設計算:p=0.005 且 d=0.001,每個變體約可得出 79,600 次曝光。p=0.02 且 d=0.005,每個變體約可得出 12,544 次符合條件的造訪。若每次這類造訪花費 US$0.40,兩個分支的媒體費用約為 US$10,035,尚未計入其他成本。這些都是規劃情境,並非業界基準,也不保證能達到顯著性。

測試項目 基準率 欲檢測的提升幅度 每個變體所需樣本
CTR (創意) 0.5% 相對 20% ~80,000 次曝光
CTR (創意) 0.5% 相對 50% ~13,000 次曝光
CVR (登陸頁) 2% 相對 25% ~12,500 次點擊
CVR (登陸頁) 2% 相對 50% ~3,100 次點擊
CVR (產品頁) 5% 相對 25% ~4,900 次點擊

在此近似下,將 d 減半會使計畫樣本變成四倍。CTR 與轉換率回答的是不同問題:CTR 的提升未必能改善貢獻或獲取成本。應依決策選擇指標與防護欄,而非假設曝光層級的測試總是更便宜或已足夠。

為相關週期與轉換延遲預留空間#

選擇一個能代表相關流量、並讓延遲結果有時間成熟的時間窗。每週模式可能很重要,但七天既不是普遍的最低要求,也不能證明該設計具有代表性。

上限:長期測試會從內部腐壞#

較長的時間窗可能引入不斷變化的條件,但測試不會在經過三、四週後就自動失去受控性。應評估隨機化、同時期曝光、漂移、延遲結果與實務相關性;如有需要,修訂設計。

不要窺探——或者至少不要根據窺探結果採取行動#

對固定時間範圍的測試反覆檢查,並在第一次出現有利的顯著性結果時就停止,可能會改變其錯誤率。應事先指定設計與分析方式,或採用適當的序貫方法。營運上的停止條件與統計上的成功宣告是兩回事。

當你負擔不起顯著性測試時的終止規則#

大多數原生廣告和聯盟行銷買家無法為每個變體提供 12,500 次點擊的資金,假裝可以只會產生虛假的嚴謹度。誠實的替代方案是分階段淘汰——比顯著性測試更粗糙,但卻是每月測試數十個創意的買家們的標準做法:

財務性的停止規則可以限制曝險,但無法確立統計顯著性。若在確認性測試之前先篩選變體,需考量選擇效應與多重比較,並以全新且設計適當的證據做出最終決定。2–3 倍 CPA 的規則或幾千次曝光,並非普遍適用的驗證。

用競爭對手的觀察來形成假設#

競爭對手的截取資料可以提供創意假設。30 天的觀察期 並不能確立競爭對手通過了獲利測試,而選擇熟悉的角度也不會減少你所選統計設計所需的樣本數。

一個從頭到尾的完整範例#

假設你運行一個支付 $60 的潛在客戶開發產品,有一個廣告活動每天在你的測試單元中產生大約 1,500 次點擊。

在一個 p=0.03、d=0.009 的假設性均等分配測試中,此近似值每個分支約可得出 5,748 次符合條件的造訪。若每天共有 1,500 次符合條件的造訪,收集兩個分支約需 7.7 天,尚未計入延遲、週期或其他設計要求。較早的篩選階段並不保證在 10–12 天後就能得出站得住腳的贏家。

計畫時長是將樣本需求與預期的符合條件流量及結果出現的時間結合起來。它並不保證實驗會產生統計上或商業上具決定性的贏家。

常見問題

廣告 A/B 測試中,每個變體需要多少轉換數?
所需觀察數取決於基準率、絕對效果、檢定力、誤差容忍度與設計。文中顯示的公式是針對獨立比例的粗略近似,並非精確的轉換數規則。
跑 3 天的廣告 A/B 測試足夠嗎?
這取決於設計、符合條件的流量、相關週期與結果延遲。三天對某個特定問題可能太短,但七天也不是普遍的有效性門檻。
我應該根據 CTR 還是轉換率來測試廣告?
依決策選擇指標,並納入下游的防護欄。CTR 與轉換率回答的是不同問題;本文並未確立普遍存在的 10–100 倍成本差異。
如果我在 A/B 測試一達到顯著性就停止,會發生什麼事?
你會戲劇性地提高誤報率。每天檢查並在第一次出現顯著讀數時就停止,意味著許多「贏家」只是雜訊,隨著數據增加會回歸均值——這是典型的窺探問題。預先承諾樣本數,每日檢查僅用於止損條件(如追蹤失效或支出失控),並在樣本收集完成時一次性評估結果。
為什麼我的獲勝廣告變體在測試結束後就不再領先了?
可能的解釋包括不確定性、選擇偏差、流量變化、結果延遲,以及表現的實際變化。本文並未確立常見成因;請檢視設計與後續資料。
OpenAdLibrary 團隊
作者OpenAdLibrary 團隊
廣告情報與原生廣告研究

我們打造了 OpenAdLibrary,這個公開的廣告透明度平台。每天,我們的系統都會捕捉 Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo 和 MSN 上的原生廣告,識別每個廣告背後真正的廣告主,並追蹤點擊至其登陸頁面。這些指南精煉了我們從數據中觀察到的內容,讓您能更快地研究市場動態。