OpenAdLibraryOpenAdLibrary
定義

增量測試:定義與運作原理

增量測試透過使用對照組作為比較基準,來隔離廣告渠道實際上導致了多少報告的轉換。

編輯插圖:增量測試:定義與運作原理

增量測試是一種對照實驗,用於衡量廣告渠道實際上導致了多少您報告的轉換,而不是平台像素僅僅聲稱歸功於多少轉換。您將一組用戶或地理區域排除在特定渠道的廣告之外,然後將結果與看到廣告的組別進行比較。兩組之間存在的任何差距就是該渠道真實的、增量的貢獻。其他一切都是無論如何都會發生的轉換。

為什麼平台報告的數字誇大了結果#

每個廣告網路都希望為銷售獲得功勞。如果有人本來就打算透過自然搜尋或品牌搜尋點擊購買,並且碰巧在過程中看到了再行銷廣告,標準的轉換追蹤仍然可以在其歸因窗口內將功勞歸於該廣告。即使是更軟性的功勞歸屬,即平台在使用者僅僅看到廣告後就計算一次轉換,也加劇了這個問題;這種機制稱為瀏覽歸因。增量測試透過提出一個更直接的問題來剔除這種雜訊:如果這個渠道本月花費為零,轉換是否仍然會發生?

這與追蹤像素單獨回答的問題不同,這就是為什麼每月運行六位數原生或社交廣告預算的團隊最終會在其平台儀表板之外建立增量測試計劃,而不是取代它們。

團隊在實踐中如何運行它#

兩種設計涵蓋了大多數實際情況。地理層級測試在一組匹配的區域中完全暫停某個渠道,並與持續投放廣告的區域的轉換率進行比較。用戶層級測試則使用廣告平台內建的轉換提升工具(由多個需求方平台原生提供),從隨機抽取的受眾切片中隱藏廣告。

無論哪種方式,計算方法都相同:增量提升等於測試組的轉換率減去對照組的轉換率。一個在平台內顯示強勁自報廣告投資報酬率的渠道,一旦乾淨的對照組移除了無論如何都會轉換的用戶,其增量提升可能接近於零。

它的用途是什麼#

媒體買家運行增量測試是為了決定跨網路的預算分配,而不僅僅是為了單獨審核一個渠道。我們在索引中看到的一種模式是:在多個網路同時運行相同創意角度的品牌,通常假設所有渠道都在發揮作用,而提升測試卻顯示一個渠道主要是在重新捕獲另一個渠道已經創造的需求。

在進行正式測試之前,大多數團隊會先觀察其垂直領域的競爭對手實際在擴展什麼,因為一個充斥著長廣告壽命的渠道,是增量預算傾向於發揮作用的良好指標。OpenAdLibrary 的廣告情報工具讓您可以在將測試廣告支出投入對照組之前,檢查跨網路的創意重疊和運行持續時間。

常見錯誤#

對照組需要足夠大且足夠隨機,才能檢測到真實的信號,而不僅僅是雜訊。在低流量渠道上進行為期一週的測試通常無法達到統計顯著性。團隊也經常在季節性高峰或全站促銷期間運行測試,這會同時污染兩個組別,使提升數字變得毫無意義。在具有代表性的時期運行測試,使用適當的功效計算來確定對照組規模,並且不要僅僅因為中期數字看起來好或壞而過早停止。

常見問題

增量測試應該運行多久?
大多數地理對照組測試需要至少 2 到 4 週才能達到統計顯著性,但這取決於基準轉換量和預期效果規模。低流量帳戶通常需要更長的時間,有時需要 6 到 8 週,才能將真實的提升與正常的週間波動區分開來。
增量測試與 A/B 測試有什麼區別?
A/B 測試通常比較同一渠道內的兩個創意變體或登陸頁面。增量測試則比較一個渠道完全開啟與完全關閉的情況,回答的是渠道本身是否增加價值,而不是哪個版本的廣告效果更好。
增量測試可以取代平台歸因嗎?
不能完全取代。平台歸因對於日常優化決策(例如暫停表現不佳的廣告組合)仍然有用。增量測試適合週期性的、更大的問題,例如渠道預算分配,每季度或每半年進行一次,而非持續進行。
增量測試適用於小預算嗎?
比較困難。小型帳戶通常缺乏足夠的轉換量,無法在合理的時間窗口內檢測到統計顯著性的提升。地理層級的測試有時可以透過匯總整個區域的轉換來解決這個問題,但支出非常低的帳戶可能需要依賴方向性信號。
OpenAdLibrary 團隊
作者OpenAdLibrary 團隊
廣告情報與原生廣告研究

我們打造了 OpenAdLibrary,這個公開的廣告透明度平台。每天,我們的系統都會捕捉 Taboola、Outbrain、MGID、Revcontent、Teads、Yahoo 和 MSN 上的原生廣告,識別每個廣告背後真正的廣告主,並追蹤點擊至其登陸頁面。這些指南精煉了我們從數據中觀察到的內容,讓您能更快地研究市場動態。