A/B 테스트 8개 중 7개는 진다 — 그래도 이기는 팀이 쓰는 실험 우선순위 공식 3가지
Optimizely가 12만 7,000건의 실험을 분석했더니, 주요 지표를 유의미하게 개선한 실험은 단 **12%**였습니다. 100개를 돌리면 88개는 무승부거나 패배라는 뜻입니다. 그런데도 어떤 팀은 매 분기 전환율을 끌어올리고, 어떤 팀은 1년 내내 제자리입니다. 차이는 '얼마나 많이 테스트했느냐'가 아니라 '무엇을 먼저 테스트했느냐'에 있습니다. 리소스는 한정돼 있고 아이디어는 넘칩니다. 랜딩페이지 헤드라인, 결제 버튼 색, 무료체험 기간, 온보딩 이메일 순서까지 — 다 해보고 싶지만 다 할 수는 없습니다. 이 글에서는 그로스팀이 실험 백로그의 우선순위를 정하는 세 가지 공식(ICE·RICE·PIE)과, 2026년 실무에서 주목받는 VICE 프레임워크를 교육 플랫폼 사례로 정리합니다.
승률이 낮을수록 '순서'가 성과를 가른다
먼저 냉정한 벤치마크부터 봅시다. 2026년 데이터 기준 A/B 테스트 승률은 소스마다 다르지만 대체로 낮습니다.
| 출처 | 표본 | 유의미한 승리 비율 |
|---|---|---|
| Optimizely | 실험 127,000건 | 약 12% |
| Visionary Marketing | 테스트 2,408건 | 17.4% |
| DRIP (이커머스) | — | 36.3%가 승리, 승자 중앙값 +2.77% RPV |
수년간 인용돼 온 '8개 중 1개만 이긴다'는 통설은 2026년 기준으로는 다소 비관적이며, 실제로는 6개 중 1개에 가깝다는 분석도 있습니다. 그럼에도 핵심은 변하지 않습니다. 대부분의 실험은 진다. 그래서 승률이 낮은 실험에 큰 리소스를 먼저 태우면 팀은 지치고 성과는 늦어집니다. 여기서 반전이 있습니다. 테스트 속도를 3배로 끌어올린 브랜드는 이전 대비 연간 RPV(방문자당 매출) 개선폭이 2.5~3.5배로 나타났습니다. 승률이 낮아도 시행 횟수가 쌓이면 승자가 복리로 누적되기 때문입니다. 결국 2026년 그로스의 화두는 '테스트 양'이 아니라 '학습 속도(learning velocity)' 입니다. 그리고 학습 속도를 높이려면, 이길 확률이 높고 빨리 끝나는 실험부터 골라내는 우선순위 체계가 반드시 필요합니다.
💡 PRO TIP: 실험 백로그를 노션이나 스프레드시트에 '아이디어 → 가설 → 점수 → 결과'로 관리하세요. 점수 없이 목소리 큰 사람 순서로 실험하면, 승률 12%짜리 도박을 감으로 반복하는 것과 같습니다.
공식 1. ICE — 가장 빠르게 걸러내는 triage 도구
ICE는 Sean Ellis(그로스 해킹의 창시자)가 대중화한 가장 단순한 우선순위 공식입니다. 각 아이디어를 세 축으로 1~10점 매깁니다.
- Impact(임팩트): 성공하면 목표 지표를 얼마나 움직이나
- Confidence(확신도): 이 가설이 맞을 거라는 근거가 얼마나 있나
- Ease(용이성): 얼마나 쉽고 빠르게 실행할 수 있나 ICE 점수 = Impact × Confidence × Ease 예를 들어 교육 플랫폼에서 두 아이디어를 비교해 봅시다.
- A: "무료체험 랜딩페이지 헤드라인을 '3일 만에 첫 강의 완강'으로 변경" → Impact 7 × Confidence 6 × Ease 9 = 378
- B: "결제 페이지 전체를 리디자인" → Impact 8 × Confidence 5 × Ease 2 = 80 임팩트만 보면 B가 더 커 보이지만, 실행이 무겁고 확신도 낮아 ICE 점수는 A가 압도적입니다. ICE는 이렇게 '작은 베팅이 잔뜩 쌓인 백로그'를 몇 분 만에 triage할 때 강력합니다. 단점은 점수가 주관적이라는 것. 같은 아이디어에 팀원마다 다른 점수를 매기기 쉬우므로, 각 축의 채점 기준(예: Ease 9 = 개발 1일 이내)을 문서로 고정해 두어야 합니다.
공식 2. RICE vs PIE — 규모냐, 페이지냐
ICE만으로 부족할 때 쓰는 두 가지 확장판이 있습니다.
RICE는 ICE에 Reach(도달 규모) 를 추가합니다. 공식은 (Reach × Impact × Confidence) ÷ Effort. 서로 다른 규모의 오디언스를 비교할 때 유리합니다. 월 방문자 10만 명이 보는 홈 배너 실험과, 결제 직전 5,000명만 보는 팝업 실험을 나란히 놓을 때 RICE가 규모를 반영해 더 공정하게 줄을 세워 줍니다.
PIE는 CRO(전환율 최적화)에서 페이지 단위로 쓰는 프레임입니다. Potential(개선 여지) · Importance(트래픽·매출 중요도) · Ease(난이도) 를 평가합니다. "어떤 '페이지'부터 손댈까"를 정할 때 적합합니다.
| 프레임워크 | 추가 축 | 가장 잘 맞는 상황 |
|---|---|---|
| ICE | (없음, 3축) | 작은 실험이 대량으로 쌓인 백로그를 빠르게 triage |
| RICE | Reach | 오디언스 규모가 제각각인 실험을 비교 |
| PIE | 페이지 관점 | 어떤 랜딩·결제 페이지부터 고칠지 결정 |
⚠️ 주의: 프레임워크를 여러 개 섞어 쓰면 점수 비교가 무의미해집니다. 한 백로그 안에서는 하나의 공식으로 통일하세요. 팀 규모가 작고 데이터가 부족하면 ICE, 데이터가 쌓였고 규모 비교가 중요하면 RICE로 시작하는 것을 권합니다.
공식 3. 2026년의 VICE — '속도'를 점수에 넣어라
앞서 봤듯 2026년 그로스의 핵심 변수는 속도입니다. 이 흐름을 반영해 등장한 것이 VICE 프레임워크입니다. RICE의 Reach 자리를 Velocity(속도) 로 바꾼 것이 핵심입니다. VICE = Velocity × Impact × Confidence × Ease Velocity는 '결과가 얼마나 빨리 나오는가'를 뜻합니다. 도달 규모가 크더라도 결과 확인에 8주가 걸리는 실험보다, 규모는 작아도 5일 만에 승패가 갈리는 실험을 위로 올립니다. 승률이 낮은 환경에서는 '빨리 지고 빨리 배우는' 실험이 복리 성장의 엔진이 되기 때문입니다. 교육 플랫폼이라면 이렇게 적용할 수 있습니다. 트래픽이 적은 신규 서비스일수록 대형 실험은 통계적 유의성에 도달하는 데 오래 걸립니다. 이럴 때 VICE로 '빠르게 판가름 나는 실험'을 앞세우면, 같은 기간에 더 많은 사이클을 돌려 학습량을 극대화할 수 있습니다.
교육 플랫폼 실험 백로그, 이렇게 굴려라
- 가설 형식을 고정한다. "[변경]하면 [지표]가 [방향]으로 바뀔 것이다. 왜냐하면 [근거]이기 때문이다." 근거 없는 아이디어는 백로그에 넣지 않습니다.
- 한 가지 공식으로 점수를 매긴다. 초기 팀은 ICE, 트래픽이 충분해지면 RICE 또는 VICE로 전환합니다.
- 한 번에 하나의 지표만 검증한다. 랜딩 전환율 실험과 온보딩 완주율 실험을 한 화면에서 동시에 돌리지 않습니다.
- 결과를 매출과 연결한다. 2026년 성숙한 팀의 공통점은 모든 A/B 테스트를 RPV·LTV 같은 매출 지표에 연결한다는 것입니다. 여기에 항상 최소 2가지 베리에이션을 설계하는 습관을 더하세요. 예컨대 무료체험 CTA를 테스트한다면 '혜택 강조형'(지금 시작하면 7일 무료) vs '문제 해결형'(강의만 결제하고 안 듣던 습관, 이번엔 끝내기) 두 방향을 함께 실험해, 우리 수강생이 어떤 메시지 프레임에 반응하는지 데이터로 확인합니다.
마무리 — 실험은 '많이'가 아니라 '순서대로'
정리하면 이렇습니다. A/B 테스트의 승률은 평균 1217%로 낮고, 그래서 무엇을 먼저 하느냐가 성과를 가릅니다. 백로그가 짧고 급하면 ICE, 규모 비교가 필요하면 RICE, 페이지를 고를 땐 PIE, 그리고 속도가 관건인 2026년엔 VICE로 '빨리 배우는 실험'을 앞세우세요. 테스트 속도를 3배로 올린 팀이 RPV를 2.53.5배 개선했다는 데이터는, 우선순위 체계가 곷 성장 속도라는 사실을 증명합니다.
당신의 실험 백로그는 지금 '점수'로 정렬돼 있나요, 아니면 '감'으로 정렬돼 있나요?
