統計顯著性（廣告測試）

廣告測試中的統計顯著性意味著觀察到的兩個變體在 CTR、轉換率 或任何其他指標上的差異，不太可能是隨機波動的結果，而是真實的表現差距。它回答了每個媒體採購人員最終都會問的問題：變體 B 真的更好，還是只是因為樣本量小而幸運？

為什麼小樣本會說謊#

只有少量點擊或轉換時，隨機波動很容易讓一個平庸的廣告在短時間內看起來像贏家，而一個真正強大的廣告看起來像輸家。一個真實轉換率為 3% 的標題，僅憑運氣，在二十位訪客中可能顯示出 0% 或 10%。顯著性檢驗會權衡樣本大小、轉換率以及觀察到的差距大小，以估計隨著更多流量到來，結果持續成立的可能性。

買家如何在不具備統計學位的情況下應用它#

大多數人不會手動計算。他們使用免費的顯著性計算器，輸入每個變體的訪客數和轉換次數，然後檢查置信水準是否超過一個閾值（通常是 90% 或 95%），然後才宣佈勝出者。這背後實用的規則是：更多的轉換次數，而不僅僅是更多的點擊次數，才能真正建立信心。一項有數千次點擊但每個變體只有少數轉換的測試，無論運行了多久，仍然不可靠。

一個實用的經驗法則#

沒有通用的最小樣本量，它取決於基準轉換率以及您試圖檢測的差異大小。許多買家認為每個變體少於幾十次轉換的結果都太薄弱，不值得信任，會等待有實質性的更多轉換後才重新分配重要預算。在像 Revcontent 或 MediaGo 這樣的低流量網路上，與像 Taboola 這樣的高流量網路相比，達到可信賴的樣本量可能需要明顯更長的時間，這值得在您決定多積極地削減表現不佳的變體時考慮進去。

為什麼它對您自身測試之外也很重要#

同樣的邏輯也適用於從外部判斷競爭對手的廣告。一個只運行了兩天的創意廣告告訴您的資訊，遠少於一個確認運行了數週的廣告，這就是為什麼 廣告壽命 可以作為一個粗略的外部代理指標：一個存活那麼久的廣告很可能已經通過了其內部的顯著性門檻，即使您看不到廣告主的實際數據。OpenAdLibrary 記錄每個已收錄創意在各個網路上被觀察到的時間長度，讓您無需訪問任何人的儀表板就能獲得這個外部訊號。通過 廣告情報平台 進行探索。

這也是為什麼買家應該對那些聲稱從微小測試中獲得巨大提升的吸睛案例研究持懷疑態度。小樣本上的巨大百分比波動正是隨機雜訊產生的結果，一個真正的結果應該隨著流量增長而持續成立，而不僅僅是曇花一現。