A/B 테스트 결과를 믿지 마라 — p-value가 거짓말하는 7가지 순간

GA4 대시보드에 통계적 유의성 95%가 찍혔습니다. 변형안 B의 전환율이 12% 더 높다는 결과를 들고 팀 전체가 배포를 결정했죠. 그런데 한 달 뒤, 전체 매출은 오히려 3% 줄었습니다. 이 시나리오를 한 번이라도 겪어봤다면, 당신의 A/B 테스트는 거짓말을 한 것입니다. 정답은 숫자가 아니라 실험 설계의 함정에 있습니다. Microsoft Research가 분석한 A/B 테스트 함정 중 가장 자주 발생하는 7가지를 추려, 마케터가 다음 실험 시작 전에 즉시 점검할 수 있는 체크리스트로 정리했습니다.

1. 조기 종료(Peeking)의 함정 — 들여다볼수록 신뢰도는 떨어진다

매일 실험 대시보드를 5번, 10번씩 들여다보다가 유의성이 찍히는 순간 곧바로 실험을 종료한 적 있나요. 이건 가장 흔하면서도 가장 치명적인 실수입니다. 통계학자 Evan Miller의 분석에 따르면 실험 도중 결과를 10번 peek할 경우, 명목상 95% 신뢰도는 실제로는 약 60~85% 수준으로 떨어집니다. 다시 말해 "유의성을 확보했다"고 판단한 순간의 절반 가까이는 우연의 산물일 수 있습니다. 1종 오류(False Positive)가 누적되기 때문입니다.

💡 PRO TIP 사전에 샘플 사이즈와 러닝 기간을 계산해 두고, 그 수치에 도달하기 전까지는 대시보드를 의도적으로 닫아라. 중간 확인이 꼭 필요하다면 Optimizely Stats Engine, GrowthBook 같은 Sequential Testing 방법론을 지원하는 도구를 사용하라.

2. 다중 비교(Multiple Testing)의 함정 — 동시에 여러 실험을 돌리는 비용

헤드라인 A/B, CTA 색상 A/B, 폼 필드 수 A/B를 동시에 돌리면서 "어느 하나라도 유의하게 나오면 좋지"라고 생각한 적 있나요. 통계적으로는 자살행위에 가깝습니다.

10개 테스트를 각각 95% 신뢰도로 동시 운영하면, 그 중 최소 하나가 거짓 양성일 확률은 약 40%에 달합니다. 즉 "이겼다"고 믿는 결과 중 절반 가까이는 우연일 수 있습니다. 보정 방법 2가지:

1. Bonferroni correction: 유의 수준(α)을 동시 테스트 수로 나눈다. 10개 테스트라면 α = 0.005로 강화
2. Benjamini-Hochberg(FDR): 보다 실용적인 보정 방식으로, 거짓 발견 비율(False Discovery Rate)을 컨트롤

3. 승률 1/7 — 통계적 유의성 ≠ 비즈니스 임팩트

업계 통계에 따르면 A/B 테스트 7번 중 1번만이 의미 있는 리프트를 만듭니다. 당신이 지난 분기 돌린 실험 중 진짜로 비즈니스 임팩트를 만든 건 몇 개인가요. 통계적 유의성은 "차이가 우연이 아니다"만 말해줄 뿐, "그 차이가 비용을 상회할 만큼 크냐"는 알려주지 않습니다.

예시: 전환율이 2.00%에서 2.05%로 올랐고 p-value 0.04가 나왔다. 통계는 옳지만 개발 리소스 2주를 투입할 가치는 없습니다. 사전에 MDE(Minimum Detectable Effect)를 정의하고, 그 이하의 리프트는 "패배"로 간주하세요.

4. 심슨의 역설(Simpson's Paradox)과 세그먼트 함정

전체 실험에서는 B안이 이겼습니다. 그런데 신규 유저 세그먼트만 보면 A안이 이기고, 리턴 유저만 봐도 A안이 이깁니다. 어떻게 이런 일이 벌어질까요. 이게 바로 심슨의 역설입니다. 원인은 대부분 **샘플 구성비 불균형(SRM, Sample Ratio Mismatch)**입니다. 무작위 배정에 실패했거나, 실험 도중 유입 채널 비중이 변동된 경우 발생합니다. SRM 진단 체크리스트:

• A/B 그룹의 샘플 비율이 50:50 ±1% 이내인가 (Chi-square test로 확인)
• 신규 vs 리턴 유저 비율이 두 그룹에서 ±5% 이내인가
• 디바이스(모바일/PC) 비율이 균등한가
• 유입 채널(광고/오가닉/SNS) 분포가 대칭인가
• 요일·시간대 노출이 고르게 분산되었는가 하나라도 깨지면 그 실험 결과는 무효 처리하고 재실행해야 합니다.

5. 노벨티 효과와 학습 효과 — 시간이 결과를 뒤집는다

새로운 디자인이 배포되면 기존 유저가 "어, 뭐가 바뀌었지?"라며 호기심으로 일시적 클릭률이 오릅니다. 이게 **노벨티 효과(Novelty Effect)**이며, 보통 12주 뒤 원상복귀합니다. 반대로 복잡한 새 UI는 처음엔 이탈률이 오르지만, 유저가 학습하면서 24주 뒤에 성과가 개선됩니다. 이게 **학습 효과(Learning Effect)**입니다.

실무 권장 러닝 기간:

• 일반 이커머스: 최소 1주, 권장 2주 이상
• 구독·교육·B2B 서비스: 전환 사이클(purchase cycle) 1회분 이상 포함 (보통 14~30일)
• 주말·평일 트래픽 패턴 차이를 흡수하기 위해 최소 7의 배수로 러닝

6. 샘플 사이즈 계산 오류 — 검정력(Power)을 놓치지 마라

MDE를 5%로 잡았는데 실제로는 2%의 리프트밖에 나오지 않았고, "유의하지 않음"으로 판정되어 변형안을 폐기했습니다. 그런데 사실은 샘플 사이즈가 부족해서 진짜 차이를 포착하지 못한 것일 수 있습니다. 이게 **2종 오류(False Negative)**입니다. 사전 계산이 필수인 4가지 변수:

1. 유의 수준(α): 보통 5%
2. 검정력(Power, 1-β): 최소 80%, 권장 90%
3. 기준 전환율(Baseline CVR): 현재 변형안의 전환율
4. MDE: 탐지하고자 하는 최소 리프트(%)

⚠️ 주의사항 트래픽이 일주일에 1만 명 이하인 페이지에서 0.5% MDE를 잡으면 6개월이 걸려도 유의성을 확보하기 어렵습니다. 트래픽이 부족하다면 MDE를 키우거나(예: 10% 이상), 상위 퍼널 단계에서 실험하세요(전환율보다 클릭률이 표본이 크다). 무료 샘플 사이즈 계산기: Evan Miller, Optimizely Calculator, AB Tasty Sample Size Calculator.

7. 가드레일(Guardrail) 메트릭 누락 — 오프라인 임팩트를 측정하지 않는 실수

CTA를 "지금 구매"에서 "무료 체험 시작"으로 바꿨습니다. 무료 체험 전환율은 40% 증가했고, 큰 승리처럼 보였습니다. 그런데 30일 뒤 보니 유료 전환율이 30% 감소했고 전체 LTV는 오히려 떨어졌습니다. A/B 테스트는 첫 단계만 측정했기 때문입니다. KPI 설계 원칙:

• 1차 KPI (North Star): CTA 클릭률, 무료 체험 전환 등 직접 효과
• 가드레일 KPI: 유료 전환율, 7일·30일 리텐션, ARPU, 환불률, 평균 주문 금액(AOV) 1차 KPI가 이겨도 가드레일이 깨지면 절대 배포하지 마세요. 특히 교육·구독 비즈니스는 1차 전환과 LTV의 갭이 크기 때문에, 최소 30일 이상의 후속 데이터까지 확인해야 합니다.

마무리 — A/B 테스트는 "측정"이 아니라 "설계"다

A/B 테스트는 숫자로 검증하는 마케팅이 아닙니다. 숫자가 거짓말하지 못하도록 설계하는 마케팅입니다. p-value 0.05는 출발선이지 결승선이 아닙니다. 오늘부터 모든 실험을 시작하기 전에 이 7가지를 자문하세요.

• ✅ 사전에 샘플 사이즈와 러닝 기간을 계산했는가
• ✅ 동시 운영 중인 다른 테스트와 겹치지 않는가
• ✅ MDE 이하의 리프트는 패배로 간주할 준비가 되었는가
• ✅ 그룹 배정 비율(SRM)을 사전·중간·사후에 점검할 계획이 있는가
• ✅ 최소 1~2주, 또는 1 전환 사이클 이상 러닝할 수 있는가
• ✅ 검정력(Power) 80% 이상을 확보할 트래픽이 있는가
• ✅ 가드레일 메트릭 3개 이상을 사전에 정의했는가 7개 중 5개 이하가 ✅라면, 그 실험은 시작하지 마세요. 시간과 리소스를 더 가치 있는 실험에 투자하는 것이 ROI가 훨씬 높습니다.

매일 이런 실무 인사이트를 받아보고 싶다면, 블로그 구독을 통해 새 글이 업데이트될 때마다 가장 먼저 받아보세요. 다음 글에서는 "교육 플랫폼이 활용해야 할 7일 온보딩 이메일 시퀀스 설계법"을 다룰 예정입니다.