광고 A/B 테스트 기간: 실용적인 표본 크기 수학
A/B 테스트 기간은 민담이 아닌 산술입니다: 필요한 표본을 예상 일일 관측치로 나눈 값. 실용적으로 만든 표본 크기 수학, 그리고 전환 지연, 중단 규칙, 그리고 모든 테스트에 들어맞는 달력상의 최소값이나 최대값이 없는 이유.

실험 단위, 기준선 비율, 감지할 가치가 있는 효과, 오류 허용 범위, 할당 및 일일 예상 관측치를 기준으로 기간을 계획하세요. 전환 지연과 관련 주기도 고려하세요. 모든 광고 테스트를 결정적으로 만드는 보편적인 전환 수나 달력상의 기준값은 없습니다.
기간은 달력 선택이 아닌 산출물입니다#
변형당 예상 관측치는 계획된 표본에 도달하는 데 필요한 시간에 영향을 줍니다. 전환 수만으로는 필요한 표본이 정의되지 않습니다: 기준선 비율, 효과 크기, 설계 및 불확실성 가정을 명시하세요.
- 테스트 중인 메트릭의 기준선 비율 — CTR (크리에이티브), 전환율 (랜더 및 오퍼).
- 감지할 가치가 있는 가장 작은 차이. 10% 향상을 감지하는 것은 50% 향상을 감지하는 것보다 훨씬 더 많은 트래픽이 필요하며, 대부분의 작은 향상은 이를 보기 위해 드는 비용만큼 가치가 없습니다.
- 변형당 일일 볼륨 — 예산과 입찰가에 의해 설정됩니다.
선택한 설계에서 필요한 관측치를 추정하고 변형당 일일 예상 관측치로 나누세요. 그 결과 나온 기간이 여전히 관련성이 있는지 확인하세요; 4주 기간이 자동으로 무효를 뜻하는 기준값은 아닙니다.
표본 크기 수학, 통계 학위 불필요#
두 독립 비율에 대한 하나의 대략적인 계획 근사치는 동일 할당, 고정 기간, 양측 5% 유의 수준 및 80% 검정력을 사용합니다:
n per variant ≈ 16 × p × (1 − p) ÷ d²
여기서 p는 가정된 기준선 이벤트 비율이고 d는 절대 비율 차이입니다. 결과는 전환이 아니라 노출이나 적격 방문과 같은 변형당 관측치를 셉니다. 이 근사치는 희귀 결과, 불균등 할당, 반복 사용자, 클러스터링 및 설계에서 벗어난 기타 사항에 대해 점검이 필요합니다.
가상 계산: p=0.005, d=0.001이면 변형당 약 79,600 노출이 나옵니다. p=0.02, d=0.005이면 변형당 약 12,544 적격 방문이 나옵니다. 그러한 방문이 각각 US$0.40이라면, 두 군은 기타 비용을 제외하고 미디어에 약 US$10,035가 듭니다. 이는 계획 시나리오이며, 업계 벤치마크나 유의미성을 보장하는 것이 아닙니다.
| 테스트 대상 | 기준선 | 감지할 향상 | 변형당 표본 |
|---|---|---|---|
| CTR (크리에이티브) | 0.5% | 20% relative | ~80,000 impressions |
| CTR (크리에이티브) | 0.5% | 50% relative | ~13,000 impressions |
| CVR (랜더) | 2% | 25% relative | ~12,500 clicks |
| CVR (랜더) | 2% | 50% relative | ~3,100 clicks |
| CVR (오퍼 페이지) | 5% | 25% relative | ~4,900 clicks |
이 근사치에서 d를 반으로 줄이면 계획된 표본이 4배가 됩니다. CTR과 전환은 서로 다른 질문에 답합니다: CTR 향상이 기여나 획득 비용을 개선한다고 보장할 수 없습니다. 노출 수준 테스트가 항상 더 저렴하거나 충분하다고 가정하기보다는, 결정을 중심으로 지표와 가드레일을 선택하세요.
관련 주기와 전환 지연을 고려하세요#
관련 트래픽을 대표하고 지연된 결과가 성숙할 시간을 주는 기간을 선택하세요. 주간 패턴이 중요할 수 있지만, 7일은 보편적인 최소값도 아니고 설계가 대표성을 갖는다는 증거도 아닙니다.
최대값: 긴 테스트는 내부에서 썩는다#
더 긴 기간은 변화하는 조건을 초래할 수 있지만, 테스트가 3~4주 후에 자동으로 통제 실험이기를 그치는 것은 아닙니다. 무작위화, 동시 노출, 드리프트, 지연된 결과 및 실질적 관련성을 평가하고, 필요하면 설계를 수정하세요.
엿보지 마세요 — 또는 적어도 엿본 결과에 따라 행동하지 마세요#
고정 기간 테스트를 반복적으로 확인하면서 처음 나온 유리한 유의성 결과에서 중단하면 오류율이 달라질 수 있습니다. 설계와 분석을 미리 명시하거나 적절한 순차 방법을 사용하세요. 운영상의 중단 조건은 통계적 성공 선언과 구별됩니다.
유의미성을 감당할 수 없을 때의 중단 규칙#
대부분의 네이티브 및 제휴 구매자는 변형당 12,500 클릭을 자금으로 조달할 수 없으며, 그렇지 않은 척하면 가짜 엄격함이 생깁니다. 정직한 대안은 단계적 선별입니다 — 유의미성 테스트보다 조잡하지만, 한 달에 수십 개의 크리에이티브를 테스트하는 구매자들 사이에서 표준 관행입니다:
재정적 중단 규칙은 노출을 제한할 수 있지만 통계적 유의성을 입증하지는 않습니다. 확증 테스트 전에 변형을 선별한다면 선택과 다중 비교를 고려하고, 최종 결정에는 새롭고 적절하게 설계된 근거를 사용하세요. 2~3배 CPA 규칙이나 수천 번의 노출은 보편적인 검증이 아닙니다.
경쟁사 관찰을 활용해 가설을 세우세요#
경쟁사 캡처는 크리에이티브 가설을 제안할 수 있습니다. 30일 관찰 기간이 경쟁사가 수익성 테스트를 통과했음을 입증하지는 않으며, 익숙한 앵글을 선택한다고 해서 선택한 통계 설계에 필요한 표본이 줄어들지도 않습니다.
처음부터 끝까지의 예시#
리드 생성 오퍼(리드당 $60 지급)를 실행하고 있으며, 한 캠페인이 테스트 셀 전체에서 하루 약 1,500 클릭을 발생시킨다고 가정해 보겠습니다.
p=0.03, d=0.009인 가상의 동일 할당 테스트에서 이 근사치는 군당 약 5,748 적격 방문을 산출합니다. 하루 총 적격 방문이 1,500이라면, 두 군을 모두 수집하는 데 지연, 주기 또는 기타 설계 요구 사항을 고려하기 전까지 약 7.7일이 걸립니다. 초기 선별 단계가 10~12일 후 방어 가능한 승자를 보장하지는 않습니다.
계획된 기간은 표본 요구 사항을 예상 적격 트래픽 및 결과의 시점과 결합한 것입니다. 그것은 실험이 통계적으로나 상업적으로 결정적인 승자를 낳을 것이라는 보장이 아닙니다.







