A/B 테스트 표본 크기 계산기 사용법
광고 소재 A/B 테스트에서 충분한 표본 없이 결과를 판단하면 우연에 의한 차이를 실제 효과로 오인하거나, 실제 효과가 있어도 감지하지 못하는 오류가 발생합니다. 이 계산기는 통계적으로 신뢰할 수 있는 결론을 내리기 위해 필요한 최소 표본 수를 산출합니다.
최소 감지 효과(MDE)는 "이 정도 개선이면 의미 있다"고 판단하는 상대적 개선율입니다. 전환율 5%에서 5.5%로 개선을 감지하려면 MDE를 10%로 설정합니다. MDE를 낮게 설정할수록 더 많은 표본이 필요합니다.
일반적으로 신뢰도 95%, 검정력 80%를 표준으로 사용합니다. 신뢰도를 99%로 높이거나 MDE를 줄이면 필요 표본 수가 크게 증가합니다.
자주 묻는 질문
A와 B 두 변형에 각각 계산된 수만큼 배분해야 하나요?
네, 각 변형(대조군 A와 실험군 B)에 표본 수(n)를 배분해야 합니다. 총 필요 표본 수는 n × 2입니다. 트래픽이 부족하다면 MDE를 높이거나 신뢰도를 90%로 낮추면 필요 표본 수가 줄어듭니다.
A/B 테스트는 얼마나 오래 진행해야 하나요?
표본 수를 달성하는 시간과 상관없이 최소 7일 이상 진행하는 것을 권장합니다. 요일별 트래픽 패턴 차이를 반영해야 주중·주말 편향을 줄일 수 있습니다.