증분성 테스트: 정의 및 작동 방식

증분성 테스트는 플랫폼의 픽셀이 단순히 공을 차지한 전환이 아니라, 보고된 전환 중 광고 채널이 실제로 얼마나 영향을 미쳤는지를 측정하는 통제된 실험입니다. 특정 채널의 광고를 볼 수 없는 사용자 또는 지역 그룹을 제외한 후, 그 광고를 본 그룹과 결과를 비교합니다. 두 그룹 사이에 남는 차이는 채널의 실제 증분 기여도입니다. 그 외의 모든 것은 어쨌든 발생했을 전환입니다.

플랫폼 보고 수치가 결과를 과대평가하는 이유#

모든 광고 네트워크는 판매에 대한 공을 원합니다. 누군가가 이미 자연 검색 또는 브랜드 검색 클릭을 통해 구매할 예정이었고, 그 과정에서 리타겟팅 광고도 우연히 보았다면, 표준 전환 추적은 여전히 그 공을 해당 광고의 속성 기간 내에 있는 광고에 돌릴 수 있습니다. 플랫폼이 누군가가 단순히 광고를 본 후 전환을 계산하는 더 부드러운 공까지도 문제에 추가됩니다. 이 메커니즘을 노출 속성이라고 합니다. 증분성 테스트는 더 직접적인 질문을 함으로써 이 잡음을 제거합니다: 이 채널이 이번 달에 0달러를 지출했다면, 전환은 여전히 발생했을까요?

이는 추적 픽셀 자체가 답하는 질문과 다르며, 이것이 월간 6자리 수의 네이티브 또는 소셜 예산을 운영하는 팀들이 결국 플랫폼 대시보드 대신이 아니라 그와 함께 증분성 프로그램을 구축하는 이유입니다.

실제로 팀들이 실행하는 방법#

두 가지 설계가 대부분의 실제 사례를 다룹니다. 지역 수준 테스트는 일치하는 지역 세트에서 채널을 완전히 일시 중지하고, 지출이 계속된 지역과의 전환율을 비교합니다. 사용자 수준 테스트는 여러 수요측 플랫폼에서 기본적으로 제공되는 광고 플랫폼의 내장 전환 상승 도구를 사용하여 무작위로 선정된 청중 일부에게 광고를 보류합니다.

어떤 방식이든 계산은 동일합니다: 증분 상승 효과는 테스트 그룹의 전환율에서 홀드아웃 그룹의 전환율을 뺀 값입니다. 플랫폼 내에서 강력한 자체 보고 ROAS를 보이는 채널은, 깨끗한 홀드아웃이 어쨌든 전환했을 사용자를 제거하면 거의 0에 가까운 증분 상승 효과를 보일 수 있습니다.

사용 용도#

미디어 구매자는 한 채널을 독립적으로 감사하기 위해서뿐만 아니라 네트워크 간 예산 할당을 결정하기 위해 증분성 테스트를 실행합니다. 우리가 인덱스에서 보는 패턴: 여러 네트워크에서 동시에 동일한 크리에이티브 각도를 실행하는 브랜드들은 종종 모두가 역할을 하고 있다고 가정하지만, 상승 효과 테스트는 한 채널이 주로 다른 채널이 이미 생성한 수요를 재획득하고 있음을 보여줍니다.

공식 테스트를 실행하기 전에, 대부분의 팀들은 자신의 업종 내 경쟁사들이 실제로 확장하고 있는 채널을 관찰하는 것으로 시작합니다. 왜냐하면 긴 광고 수명으로 가득 찬 채널은 증분 예산이 효과를 보이는 곳에 대한 합리적인 대리 지표가 되기 때문입니다. OpenAdLibrary의 광고 인텔리전스 도구를 사용하면 테스트 광고 지출을 홀드아웃에 투입하기 전에 네트워크 간 크리에이티브 중복 및 실행 기간을 확인할 수 있습니다.

흔한 실수들#

홀드아웃 그룹은 실제 신호를 감지할 수 있을 만큼 충분히 크고 무작위적이어야 하며, 단순히 잡음이 아닙니다. 저용량 채널에 대한 1주 테스트는 일반적으로 통계적 유의성에 도달할 수 없습니다. 팀들은 또한 계절성 급증 또는 사이트 전체 프로모션 기간에 테스트를 실행하는 경우가 많으며, 이는 두 그룹을 동등하게 오염시켜 상승 효과 수치를 의미 없게 만듭니다. 대표적인 기간에 테스트를 실행하고, 적절한 검정력 계산으로 홀드아웃 크기를 결정하며, 중간 수치가 좋아 보이거나 나빠 보인다고 해서 일찍 멈추지 마세요.