Question 1

A/B 테스트 표본 크기는 왜 중요한가요?

Accepted Answer

표본이 너무 작으면 실제 차이가 있어도 통계적으로 감지하지 못합니다(1종/2종 오류). 충분한 표본이 있어야 광고 소재 간 성과 차이가 우연이 아닌 실제 효과임을 신뢰할 수 있습니다.

Question 2

신뢰도와 검정력의 차이는 무엇인가요?

Accepted Answer

신뢰도(95%)는 차이가 없을 때 차이가 있다고 오판하지 않을 확률입니다. 검정력(80%)은 실제 차이가 있을 때 이를 감지할 확률입니다. 일반적으로 신뢰도 95%, 검정력 80%를 기준으로 사용합니다.

Question 3

최소 감지 효과(MDE)는 어떻게 설정하나요?

Accepted Answer

비즈니스 관점에서 의미 있다고 판단되는 최소 개선 폭을 설정합니다. 예를 들어 전환율이 5%에서 5.5%로 오르는 것(10% 상대적 개선)이 의미 있다면 MDE를 10%로 설정하세요. MDE가 작을수록 더 많은 표본이 필요합니다.

🔬광고 소재 A/B 테스트 표본 크기 계산기

A/B 테스트 표본 크기 계산기 사용법