홀드아웃 테스트(광고): 정의 및 활용

홀드아웃 테스트는 일부 대상(홀드아웃 그룹)에게 광고나 마케팅 처치를 노출하지 않은 채 나머지 대상은 계속 노출시킨 후, 두 그룹 간의 결과를 비교하여 처치의 실제 효과를 측정하는 실험 설계입니다. 이는 광고에서 사용되는 인과관계 측정 실험의 광범위한 패밀리를 포괄하는 포괄적 용어로, 완전한 지역 일시 중지부터 좁은 빈도 제한 테스트까지 모든 것을 포함합니다.

기본 메커니즘#

결과 지표를 예측하는 특성(과거 구매 행동, 지역, 기기 유형 등 비즈니스에 중요한 요소)에서 가능한 한 유사한 두 그룹으로 대상을 분할합니다. 한 그룹(홀드아웃)은 광고를 보지 않거나(또는 그 자리에 공익 광고를 봄), 다른 그룹은 정상적으로 캠페인을 봅니다. 설정된 기간 후, 두 그룹 간의 전환율, 매출 또는 테스트하는 지표를 비교합니다. 그룹 간의 기본 격차를 조정한 차이가 처치의 증분 효과입니다.

플랫폼이 이를 내장하는 이유#

대부분의 주요 셀프서브 수요측 플랫폼을 보유한 광고 플랫폼은 이제 일종의 내장된 전환 리프트 또는 홀드아웃 테스트를 제공합니다. 이는 광고주들이 자체 전환 추적 대시보드가 정직하게 답할 수 없는 동일한 질문을 계속했기 때문입니다: 이 전환들은 어쨌든 발생했을까요? 강력한 ROAS 수치를 보여주는 대시보드는 인과관계가 아닌 연관된 전환을 보고하며, 진정한 홀드아웃만이 둘을 분리합니다.

퍼널 전반에서 홀드아웃 테스트가 사용되는 곳#

전체 채널 홀드아웃은 사용자 또는 지역의 일부에 대해 전체 네트워크나 채널을 일시 중지하며, 이는 지역 리프트 테스트의 설계 배경입니다. 캠페인 수준 홀드아웃은 다른 캠페인은 계속 실행되는 동안 하나의 특정 캠페인을 일시 중지하여 해당 캠페인의 효과를 채널의 기본 효과에서 분리합니다. 빈도 홀드아웃은 사용자가 광고를 보는 횟수를 제한한 후, 제한 없는 그룹과 결과를 비교하여 크리에이티브 피로도와 수익 체감을 측정하는 데 유용합니다.

실질적 제약#

홀드아웃 테스트를 실행한다는 것은 테스트 기간 동안 일부 실제 주소 지정 가능한 고객에게 의도적으로 광고를 노출하지 않는 것을 의미하며, 이는 실질적인 단기 비용이 있습니다. 이는 증분성을 고려하는 모든 팀이 받아들이는 트레이드오프입니다: 일부 단기 도달 및 매출을 포기하는 대신 지출이 실제로 효과가 있는지에 대한 신뢰할 수 있는 답변을 얻습니다. 표본 크기도 중요합니다. 홀드아웃은 통계적으로 의미 있는 차이를 감지할 수 있을 만큼 두 그룹 모두에서 충분한 유량이 필요합니다; 저유량 채널이나 짧은 캠페인을 테스트하는 것은 종종 결과로 위장된 노이즈만 생성합니다.

결과를 올바르게 해석하기#

노출 그룹과 홀드아웃 그룹 사이에 의미 있는 차이가 없는 무효 결과는 실패한 테스트가 아닌 실제 발견입니다. 이는 적어도 해당 기간 동안 해당 대상에게 채널이 어쨌든 발생했을 것 이상의 증분 가치를 추가하지 않았다는 의미입니다. 강력한 보고된 수치를 바탕으로 채널을 확장하기 전에, 당신의 업종 내 경쟁사들도 해당 채널에 많은 광고 지출을 하고 있는지 확인하세요. 오랫동안 실행된 크리에이티브가 많은 채널(광고 장수성 참조)은 홀드아웃 테스트가 실제 리프트를 확인하는 경향이 있는 채널의 합리적인 대리 지표이기 때문입니다. OpenAdLibrary의 광고 인텔리전스 플랫폼을 사용하면 테스트 예산을 투입하기 전에 네트워크와 업종별로 해당 활동을 확인할 수 있습니다.