OpenAdLibraryOpenAdLibrary
광고 크리에이티브 & 퍼널

광고 A/B 테스트 기간: 실용적인 표본 크기 수학

A/B 테스트 기간은 민담이 아닌 산술입니다: 필요한 표본을 예상 일일 관측치로 나눈 값. 실용적으로 만든 표본 크기 수학, 그리고 전환 지연, 중단 규칙, 그리고 모든 테스트에 들어맞는 달력상의 최소값이나 최대값이 없는 이유.

편집 일러스트: 광고 A/B 테스트 기간: 실용적인 표본 크기 수학

실험 단위, 기준선 비율, 감지할 가치가 있는 효과, 오류 허용 범위, 할당 및 일일 예상 관측치를 기준으로 기간을 계획하세요. 전환 지연과 관련 주기도 고려하세요. 모든 광고 테스트를 결정적으로 만드는 보편적인 전환 수나 달력상의 기준값은 없습니다.

기간은 달력 선택이 아닌 산출물입니다#

변형당 예상 관측치는 계획된 표본에 도달하는 데 필요한 시간에 영향을 줍니다. 전환 수만으로는 필요한 표본이 정의되지 않습니다: 기준선 비율, 효과 크기, 설계 및 불확실성 가정을 명시하세요.

  • 테스트 중인 메트릭의 기준선 비율 — CTR (크리에이티브), 전환율 (랜더 및 오퍼).
  • 감지할 가치가 있는 가장 작은 차이. 10% 향상을 감지하는 것은 50% 향상을 감지하는 것보다 훨씬 더 많은 트래픽이 필요하며, 대부분의 작은 향상은 이를 보기 위해 드는 비용만큼 가치가 없습니다.
  • 변형당 일일 볼륨 — 예산과 입찰가에 의해 설정됩니다.

선택한 설계에서 필요한 관측치를 추정하고 변형당 일일 예상 관측치로 나누세요. 그 결과 나온 기간이 여전히 관련성이 있는지 확인하세요; 4주 기간이 자동으로 무효를 뜻하는 기준값은 아닙니다.

표본 크기 수학, 통계 학위 불필요#

두 독립 비율에 대한 하나의 대략적인 계획 근사치는 동일 할당, 고정 기간, 양측 5% 유의 수준 및 80% 검정력을 사용합니다:

n per variant ≈ 16 × p × (1 − p) ÷ d²

여기서 p는 가정된 기준선 이벤트 비율이고 d는 절대 비율 차이입니다. 결과는 전환이 아니라 노출이나 적격 방문과 같은 변형당 관측치를 셉니다. 이 근사치는 희귀 결과, 불균등 할당, 반복 사용자, 클러스터링 및 설계에서 벗어난 기타 사항에 대해 점검이 필요합니다.

가상 계산: p=0.005, d=0.001이면 변형당 약 79,600 노출이 나옵니다. p=0.02, d=0.005이면 변형당 약 12,544 적격 방문이 나옵니다. 그러한 방문이 각각 US$0.40이라면, 두 군은 기타 비용을 제외하고 미디어에 약 US$10,035가 듭니다. 이는 계획 시나리오이며, 업계 벤치마크나 유의미성을 보장하는 것이 아닙니다.

테스트 대상 기준선 감지할 향상 변형당 표본
CTR (크리에이티브) 0.5% 20% relative ~80,000 impressions
CTR (크리에이티브) 0.5% 50% relative ~13,000 impressions
CVR (랜더) 2% 25% relative ~12,500 clicks
CVR (랜더) 2% 50% relative ~3,100 clicks
CVR (오퍼 페이지) 5% 25% relative ~4,900 clicks

이 근사치에서 d를 반으로 줄이면 계획된 표본이 4배가 됩니다. CTR과 전환은 서로 다른 질문에 답합니다: CTR 향상이 기여나 획득 비용을 개선한다고 보장할 수 없습니다. 노출 수준 테스트가 항상 더 저렴하거나 충분하다고 가정하기보다는, 결정을 중심으로 지표와 가드레일을 선택하세요.

관련 주기와 전환 지연을 고려하세요#

관련 트래픽을 대표하고 지연된 결과가 성숙할 시간을 주는 기간을 선택하세요. 주간 패턴이 중요할 수 있지만, 7일은 보편적인 최소값도 아니고 설계가 대표성을 갖는다는 증거도 아닙니다.

최대값: 긴 테스트는 내부에서 썩는다#

더 긴 기간은 변화하는 조건을 초래할 수 있지만, 테스트가 3~4주 후에 자동으로 통제 실험이기를 그치는 것은 아닙니다. 무작위화, 동시 노출, 드리프트, 지연된 결과 및 실질적 관련성을 평가하고, 필요하면 설계를 수정하세요.

엿보지 마세요 — 또는 적어도 엿본 결과에 따라 행동하지 마세요#

고정 기간 테스트를 반복적으로 확인하면서 처음 나온 유리한 유의성 결과에서 중단하면 오류율이 달라질 수 있습니다. 설계와 분석을 미리 명시하거나 적절한 순차 방법을 사용하세요. 운영상의 중단 조건은 통계적 성공 선언과 구별됩니다.

유의미성을 감당할 수 없을 때의 중단 규칙#

대부분의 네이티브 및 제휴 구매자는 변형당 12,500 클릭을 자금으로 조달할 수 없으며, 그렇지 않은 척하면 가짜 엄격함이 생깁니다. 정직한 대안은 단계적 선별입니다 — 유의미성 테스트보다 조잡하지만, 한 달에 수십 개의 크리에이티브를 테스트하는 구매자들 사이에서 표준 관행입니다:

재정적 중단 규칙은 노출을 제한할 수 있지만 통계적 유의성을 입증하지는 않습니다. 확증 테스트 전에 변형을 선별한다면 선택과 다중 비교를 고려하고, 최종 결정에는 새롭고 적절하게 설계된 근거를 사용하세요. 2~3배 CPA 규칙이나 수천 번의 노출은 보편적인 검증이 아닙니다.

경쟁사 관찰을 활용해 가설을 세우세요#

경쟁사 캡처는 크리에이티브 가설을 제안할 수 있습니다. 30일 관찰 기간이 경쟁사가 수익성 테스트를 통과했음을 입증하지는 않으며, 익숙한 앵글을 선택한다고 해서 선택한 통계 설계에 필요한 표본이 줄어들지도 않습니다.

처음부터 끝까지의 예시#

리드 생성 오퍼(리드당 $60 지급)를 실행하고 있으며, 한 캠페인이 테스트 셀 전체에서 하루 약 1,500 클릭을 발생시킨다고 가정해 보겠습니다.

p=0.03, d=0.009인 가상의 동일 할당 테스트에서 이 근사치는 군당 약 5,748 적격 방문을 산출합니다. 하루 총 적격 방문이 1,500이라면, 두 군을 모두 수집하는 데 지연, 주기 또는 기타 설계 요구 사항을 고려하기 전까지 약 7.7일이 걸립니다. 초기 선별 단계가 10~12일 후 방어 가능한 승자를 보장하지는 않습니다.

계획된 기간은 표본 요구 사항을 예상 적격 트래픽 및 결과의 시점과 결합한 것입니다. 그것은 실험이 통계적으로나 상업적으로 결정적인 승자를 낳을 것이라는 보장이 아닙니다.

자주 묻는 질문

광고 A/B 테스트에서 변형당 몇 번의 전환이 필요한가요?
필요한 관측치는 기준선 비율, 절대 효과, 검정력, 오류 허용 범위 및 설계에 따라 달라집니다. 제시된 공식은 독립 비율에 대한 대략적인 근사치이며, 정확한 전환 수 규칙이 아닙니다.
광고 A/B 테스트를 3일 동안 진행하는 것으로 충분한가요?
설계, 적격 트래픽, 관련 주기 및 결과 지연에 따라 달라집니다. 3일은 특정 질문에 너무 짧을 수 있지만, 7일이 보편적인 유효성 기준은 아닙니다.
광고를 CTR 또는 전환율로 테스트해야 하나요?
결정에 맞는 지표를 선택하고 하위 단계의 가드레일을 포함하세요. CTR과 전환율은 서로 다른 질문에 답합니다; 이 글은 보편적인 10–100배 비용 차이를 입증하지 않습니다.
A/B 테스트가 유의미해지자마자 중단하면 어떻게 되나요?
거짓 양성 비율이 극적으로 증가합니다. 매일 확인하고 첫 번째 유의미한 판독에서 중단하면 많은 '승자'가 더 많은 데이터로 회귀했을 잡음이라는 뜻입니다 — 고전적인 엿보기 문제입니다. 표본 크기를 미리 약속하고, 일일 확인은 추적 오류나 예산 초과와 같은 손실 중단 조건에만 사용하며, 표본이 완료되면 한 번 평가하세요.
테스트 후 내 승리 광고 변형이 승리를 멈춘 이유는?
가능한 설명으로는 불확실성, 선택 편향, 변화하는 트래픽, 지연된 결과 및 실제 성과 변화가 있습니다. 이 글은 일반적인 원인을 입증하지 않았습니다; 설계와 이후 데이터를 점검하세요.
OpenAdLibrary 팀
작성자OpenAdLibrary 팀
광고 인텔리전스 및 네이티브 광고 리서치

우리는 오픈 광고 투명성 플랫폼인 OpenAdLibrary를 구축합니다. 매일 저희 시스템은 Taboola, Outbrain, MGID, Revcontent, Teads, Yahoo 및 MSN에서 라이브 네이티브 광고를 캡처하고, 각 광고 뒤의 실제 광고주를 식별하며, 클릭을 따라 랜딩 페이지까지 추적합니다. 이 가이드는 해당 데이터에서 확인한 내용을 정제하여 시장을 더 빠르게 연구할 수 있도록 돕습니다.