통계적 유의성 (광고 테스트)

통계적 유의성은 광고 테스트에서 두 변형 간의 관찰된 차이(CTR, 전환율 또는 기타 지표)가 실제 성과 차이보다는 무작위 우연의 결과일 가능성이 낮다는 것을 의미합니다. 이는 모든 미디어 바이어가 결국 묻게 되는 질문에 답합니다: 변형 B가 실제로 더 나은가, 아니면 작은 표본에서 운이 좋았을 뿐인가?

작은 표본이 속이는 이유#

클릭이나 전환이 소수에 불과하면 무작위 변동으로 인해 평범한 광고가 잠시 동안 승자처럼 보일 수 있고, 진정으로 강력한 광고가 패자처럼 보일 수 있습니다. 실제 전환율이 3%인 헤드라인이 단 20명의 방문자에게서 우연히 0% 또는 10%로 나타날 수 있습니다. 유의성 검정은 표본 크기, 전환율, 그리고 관찰된 차이의 크기를 고려하여 트래픽이 더 많이 유입됨에 따라 결과가 유지될 가능성을 추정합니다.

바이어들이 통계학 학위 없이 적용하는 방법#

대부분은 수동으로 계산을 하지 않습니다. 무료 유의성 계산기를 사용하여 각 변형의 방문자와 전환을 입력하고, 신뢰 수준이 일반적으로 90% 또는 95%인 임계값을 초과하는지 확인한 후 승자를 선언합니다. 이 모든 것의 실질적인 규칙은 단지 더 많은 클릭이 아니라 더 많은 전환이 실제로 신뢰를 구축한다는 것입니다. 수천 개의 클릭이 있지만 변형당 소수의 전환만 있는 테스트는 얼마나 오래 실행되었든 여전히 신뢰할 수 없습니다.

실용적인 경험 법칙#

보편적인 최소 표본 크기는 없으며, 기준 전환율과 감지하려는 차이의 크기에 따라 달라집니다. 많은 바이어들은 변형당 수십 개 미만의 전환은 신뢰하기에 너무 적은 것으로 간주하고, 상당히 더 많은 전환을 기다린 후에 본격적인 예산을 재할당합니다. Revcontent나 MediaGo와 같은 낮은 볼륨의 네트워크는 Taboola와 같은 높은 볼륨의 네트워크에 비해 신뢰할 수 있는 표본에 도달하는 데 눈에 띄게 더 오래 걸릴 수 있으며, 이는 저성과 변형을 얼마나 적극적으로 중단할지 결정할 때 고려할 가치가 있습니다.

자신의 테스트를 넘어서 중요한 이유#

동일한 논리가 외부에서 경쟁사의 광고를 평가할 때도 적용됩니다. 단 2일 동안만 실행된 크리에이티브는 몇 주간 실행된 것으로 확인된 크리에이티브보다 훨씬 적은 정보를 제공합니다. 이것이 광고 수명이 대략적인 외부 대리 지표로 작동하는 이유입니다: 그렇게 오래 살아남은 광고는 이미 자체 내부 유의성 기준을 통과했을 가능성이 높지만, 광고주의 실제 숫자는 볼 수 없습니다. OpenAdLibrary는 수집된 각 크리에이티브가 여러 네트워크에서 관찰된 기간을 기록하여, 누구의 대시보드에도 접근하지 않고 외부 신호를 얻을 수 있게 해줍니다. 광고 인텔리전스 플랫폼을 통해 살펴보세요.

이것이 또한 바이어들이 소규모 테스트에서 큰 상승을 주장하는 눈길을 끄는 사례 연구에 회의적이어야 하는 이유입니다. 작은 표본에서의 큰 백분율 변동은 정확히 무작위 노이즈가 생성하는 것이며, 유효한 결과는 볼륨이 증가함에 따라 유지되어야 하지, 한 번 나타나고 사라지는 것이 아닙니다.