OpenAdLibraryOpenAdLibrary
定義

增量測試:定義與運作原理

增量測試透過使用對照組作為比較基準,來隔離廣告渠道實際上導致了多少報告的轉換。

編輯插圖:增量測試:定義與運作原理

增量測試是一種對照實驗,用於估算某個廣告渠道所報告的轉換活動中,實際上有多大比例是廣告所導致的,而不是依賴平台追蹤歸因給其廣告的轉換。您將一組用戶或地理區域排除在特定渠道的廣告之外,然後將結果與看到廣告的組別進行比較。設計良好的測試會將兩組之間的差距解讀為該渠道在該受眾、期間與設定下的增量效果估計值,並一併報告其不確定性;留在對照組中的結果,就是沒有廣告也會發生的那些結果。

為什麼平台報告的數字可能與增量結果不同#

廣告平台使用自己的規則將轉換歸因給廣告。如果有人本來就打算透過自然搜尋或品牌搜尋點擊購買,並且碰巧在過程中看到了再行銷廣告,標準的轉換追蹤仍然可以在其歸因窗口內將功勞歸於該廣告。更軟性的功勞歸屬,即平台在使用者僅僅看到廣告後就計算一次轉換,會加大這一差距;這種機制稱為瀏覽歸因。因此,平台報告的轉換與其廣告所導致的轉換並不是同一回事。增量測試提出的是另一個問題:如果這個渠道沒有投放廣告,轉換是否仍然會發生?

這與追蹤像素單獨回答的問題不同,因此增量測試是與平台儀表板並行使用,而不是取代它們。

團隊在實踐中如何運行它#

目前採用多種設計。地理層級測試會將各地區分配到測試組或對照組條件,例如在某些地區投放某個渠道的廣告,而在其他地區不投放,並比較各地區之間的結果(例如銷售或轉換);Google 的地理實驗會隨機分配互不重疊的地區,而 Meta 的 GeoLift 則會從未經處理的地區建立合成控制組。用戶層級測試則使用廣告平台的轉換提升工具:Meta 的 Conversion Lift 會將人員隨機分配到看到廣告的測試組和不看廣告的對照組,而 Google Ads Conversion Lift 提供基於用戶和基於地理的研究,不過 Google 表示並非所有帳戶都能使用。

效果如何估算取決於設計。在隨機化的用戶層級測試中,估計值就是測試組與對照組之間的結果差異,可以用額外轉換數或相對於對照組的百分比來表示。舉一個假設性的例子:如果 10,000 名測試用戶產生 300 次轉換,而 10,000 名對照組用戶產生 250 次,則估計提升為 50 次轉換,即相對對照組高出 20%,即使平台將其全部 300 次轉換都歸因於其廣告。地理測試通常不依賴這種簡單的相減:它們會將已投放地區與某個模型(例如由未投放地區建立的合成控制組)所預測的、在沒有廣告情況下會產生的結果進行比較。一個在平台上報告強勁廣告投資報酬率的渠道,在測試中可能顯示出小得多的增量效果;差距有多大取決於渠道、受眾和測量窗口。

它的用途是什麼#

媒體買家使用增量測試來為跨網路的預算分配提供依據,而不僅僅是為了單獨審核一個渠道。一項結果描述的是所測試的受眾、期間和支出水準。

公開的廣告檔案庫無法衡量增量。一則被觀察到長時間投放的廣告,並不表示它帶來了額外的轉換,因為廣告壽命記錄的是廣告被看到的時間長度,而不是支出或結果。這些檔案庫能提供的是假設:OpenAdLibrary 的廣告情報頁面會顯示某個廣告主被觀察到使用哪些創意和網路,以及使用了多久,這可以幫助您在投入測試廣告支出之前,決定要用自己的對照組測試什麼。

常見錯誤#

對照組需要足夠大,且分配足夠隨機或配對足夠謹慎,才能檢測到真實的信號,而不僅僅是雜訊。在低流量渠道上進行短期測試,可能沒有足夠的轉換來檢測到效果,而 Meta 的 GeoLift 文件警告,在沒有事先進行功效分析的情況下運行地理測試,很可能即使提升確實存在也找不到。季節性高峰或全站促銷本身並不會使隨機化測試失效,因為兩個組別都會經歷它,但此時測得的提升描述的是該期間,在正常週次中可能並不成立。只影響到其中一組的事件,例如地理測試中某個地區的促銷,可能會使結果產生偏差,因此請讓測試地區與對照地區的其他行銷活動保持一致。在涵蓋至少一個購買週期的代表性時期運行測試,以功效計算確定對照組規模,並且不要僅僅因為中期數字看起來好或壞而過早停止。

常見問題

增量測試應該運行多久?
沒有標準的持續時間。這取決於基準轉換量、您想檢測的效果規模,以及客戶完成轉換所需的時間。Meta 的 GeoLift 文件建議涵蓋至少一個完整的購買週期,並至少要有 15 天的每日資料(若資料為每週,則為 4 到 6 週),且在啟動前進行功效分析,以了解測試需要多長時間;平台提升工具則各自有其要求。低流量帳戶可能需要更長的測試或更大的對照組,才能將真實效果與正常波動區分開來。
增量測試與 A/B 測試有什麼區別?
兩者都是對照實驗,但它們回答的是不同的問題。A/B 測試通常比較兩個組別都會收到的某個事物的兩個版本,例如兩個創意或兩個登陸頁面。增量測試則比較有曝光的組別與沒有曝光的組別,以估算廣告本身為您所衡量的結果(例如轉換或銷售)增加了多少。
增量測試可以取代平台歸因嗎?
不能完全取代。平台歸因對於日常決策(例如暫停表現不佳的廣告組合)仍然有用。增量測試更適合更大的問題,例如渠道預算分配。測試應多久重複一次,取決於您的支出、創意、受眾和季節性變化有多大;並沒有標準的頻率。
增量測試適用於小預算嗎?
比較困難。小型帳戶的轉換數通常太少,無法在合理的時間窗口內檢測到效果,而規模太小的測試可能會錯過真實效果,因此一項功效不足的測試得出零結果,並不代表廣告毫無作用。啟動前的功效計算可以顯示您的流量是否足夠;如果不夠,選項包括延長測試、擴大對照組或採用不同方法,而支出非常低的帳戶可能必須改為依賴方向性信號。地理層級測試並不能消除這個問題:Meta 建議在可能的情況下採用基於人員的測試,而非基於地理的測試,因為前者的統計功效更高。
OpenAdLibrary 團隊
作者OpenAdLibrary 團隊
廣告情報與原生廣告研究

我們打造了 OpenAdLibrary,這個公開的廣告透明度平台。每天,我們的系統都會捕捉 Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo 和 MSN 上的原生廣告,識別每個廣告背後真正的廣告主,並追蹤點擊至其登陸頁面。這些指南精煉了我們從數據中觀察到的內容,讓您能更快地研究市場動態。