증분성 테스트: 정의 및 작동 방식

증분성 테스트는 광고 채널에 대해 보고된 전환 활동 중 광고가 실제로 얼마나 유발했는지를 추정하는 통제된 실험으로, 플랫폼의 추적이 자사 광고에 귀속시키는 전환에 의존하지 않습니다. 특정 채널의 광고를 볼 수 없는 사용자 또는 지역 그룹을 제외한 후, 그 광고를 본 그룹과 결과를 비교합니다. 잘 설계된 테스트는 두 그룹 사이의 격차를 해당 오디언스, 기간 및 설정에 대한 채널의 증분 효과 추정치로 읽으며, 불확실성과 함께 보고합니다. 홀드아웃 그룹에 남는 결과는 광고 없이 발생한 것입니다.

플랫폼 보고 수치가 증분 결과와 다를 수 있는 이유#

광고 플랫폼은 자체 규칙을 사용하여 전환을 광고에 귀속시킵니다. 누군가가 이미 자연 검색 또는 브랜드 검색 클릭을 통해 구매할 예정이었고, 그 과정에서 리타겟팅 광고도 우연히 보았다면, 표준 전환 추적은 여전히 그 공을 해당 광고의 속성 기간 내에 있는 광고에 돌릴 수 있습니다. 플랫폼이 누군가가 단순히 광고를 본 후 전환을 계산하는 더 부드러운 공은 그 격차를 더 키웁니다. 이 메커니즘을 노출 속성이라고 합니다. 따라서 플랫폼이 보고하는 전환은 그 광고가 유발한 전환과 같은 것이 아닙니다. 증분성 테스트는 다른 질문을 합니다: 이 채널이 광고를 하지 않았다면, 전환은 여전히 발생했을까요?

이는 추적 픽셀 자체가 답하는 질문과 다른 질문이므로, 증분성 테스트는 플랫폼 대시보드 대신이 아니라 그와 함께 사용됩니다.

실제로 팀들이 실행하는 방법#

여러 설계가 사용됩니다. 지역 수준 테스트는 예를 들어 일부 지역에서는 채널의 광고를 집행하고 다른 지역에서는 보류하는 방식으로 지역을 테스트 또는 홀드아웃 조건에 배정하고, 지역 간 매출 또는 전환과 같은 결과를 비교합니다. Google의 지역 실험은 겹치지 않는 지역을 무작위로 배정하는 반면, Meta의 GeoLift는 미처리 지역으로부터 합성 대조군을 구축합니다. 사용자 수준 테스트는 광고 플랫폼의 전환 상승 도구를 사용합니다. Meta의 Conversion Lift는 사람들을 광고를 보는 테스트 그룹과 보지 않는 대조군에 무작위로 배정하고, Google Ads Conversion Lift는 사용자 기반 및 지역 기반 연구를 제공하지만, Google은 모든 계정에서 사용할 수 있는 것은 아니라고 말합니다.

효과가 어떻게 추정되는지는 설계에 따라 달라집니다. 무작위 사용자 수준 테스트에서 추정치는 테스트 그룹과 홀드아웃 그룹 간의 결과 차이이며, 이는 추가 전환 또는 홀드아웃 대비 백분율로 보고될 수 있습니다. 가상의 예로, 10,000명의 테스트 사용자가 300건의 전환을 생성하고 10,000명의 홀드아웃 사용자가 250건을 생성한다면, 플랫폼이 300건의 전환을 모두 자사 광고에 귀속시켰다 하더라도 추정 상승 효과는 50건의 전환, 즉 홀드아웃 대비 20%입니다. 지역 테스트는 일반적으로 그런 단순한 뺄셈에 의존하지 않습니다: 처리된 지역을 미처리 지역으로 구축한 합성 대조군과 같은 모델이 광고 없이 생성했을 것이라고 말하는 결과와 비교합니다. 플랫폼이 보고한 강력한 ROAS를 보이는 채널도 테스트에서는 훨씬 작은 증분 효과를 보일 수 있습니다. 격차가 얼마나 큰지는 채널, 오디언스 및 측정 기간에 따라 달라집니다.

사용 용도#

미디어 구매자는 한 채널을 독립적으로 감사하기 위해서뿐만 아니라 네트워크 간 예산 할당에 정보를 제공하기 위해 증분성 테스트를 사용합니다. 결과는 테스트된 오디언스, 기간 및 지출 수준을 설명합니다.

공개 광고 아카이브는 증분성을 측정할 수 없습니다. 오랫동안 관찰된 광고가 추가 전환을 유발했다는 것을 보여주지는 않습니다. 왜냐하면 광고 수명은 광고가 얼마나 오래 보였는지를 기록할 뿐, 지출이나 결과를 기록하지 않기 때문입니다. 아카이브가 제공할 수 있는 것은 가설입니다: OpenAdLibrary의 광고 인텔리전스 페이지는 광고주가 어떤 크리에이티브와 네트워크를 사용하는 것이 관찰되었는지, 그리고 얼마나 오래 사용했는지를 보여주며, 이는 테스트 광고 지출을 투입하기 전에 자체 홀드아웃으로 무엇을 테스트할지 결정하는 데 도움이 될 수 있습니다.

흔한 실수들#

홀드아웃 그룹은 단순히 잡음이 아닌 실제 신호를 감지할 수 있을 만큼 충분히 크고, 무작위로 배정되거나 충분히 신중하게 매칭되어야 합니다. 저용량 채널에 대한 짧은 테스트는 효과를 감지할 만큼 충분한 전환이 없을 수 있으며, Meta의 GeoLift 문서는 사전 검정력 분석 없이 지역 테스트를 실행하면 상승 효과가 존재하더라도 발견하지 못할 확률이 높다고 경고합니다. 계절성 급증 또는 사이트 전체 프로모션은 두 그룹 모두 경험하기 때문에 그 자체로 무작위 테스트를 무효화하지는 않지만, 그때 측정된 상승 효과는 해당 기간을 설명하는 것이며 일반적인 주에는 유지되지 않을 수 있습니다. 지역 테스트에서 특정 지역 프로모션과 같이 한 그룹에만 도달하는 이벤트는 결과에 편향을 줄 수 있으므로, 테스트 및 대조 지역 전반에 걸쳐 다른 마케팅을 일정하게 유지하세요. 최소 하나의 구매 주기를 포함하는 대표적인 기간에 테스트를 실행하고, 검정력 계산으로 홀드아웃 크기를 결정하며, 중간 수치가 좋아 보이거나 나빠 보인다고 해서 일찍 멈추지 마세요.