A/B 테스트 질의응답

1. A/B 테스트 집행 환경: 어떤 툴을 사용할까?

A/B 테스트를 실행하는 환경은 크게 두 가지로 나눌 수 있다.

• 실험 플랫폼 사용: 핵클, AB Tasty와 같은 전용 플랫폼은 GUI(그래픽 사용자 인터페이스)를 통해 버전을 만들고 지표 추적까지 원스톱으로 제공한다. 빠르고 쉽게 시작할 수 있다는 장점이 있지만, 비용이 발생.
• 직접 지표 추출: 개발팀과 협업하여 로그 데이터를 기반으로 직접 분석하는 방식이다. 유연하고 커스터마이징이 가능하지만, 구현 및 분석에 시간과 개발 리소스가 많이 소요된다. Google Analytics와 SQL을 함께 사용하는 경우가 대표적이다.

대규모 서비스는 플랫폼 사용과 로그 데이터 분석을 병행하여 효율성과 유연성을 모두 잡는다고 한다. 스타트업이라면 GA4와 Notion/Excel만으로도 충분히 A/B 테스트를 진행할 수 있다.

2. A/B 테스트 기간: 얼마나 오래 해야 할까?

일반적인 A/B 테스트 기간은 1~2주이다. 이 기간은 데이터 모수를 충분히 확보하고, 계절성이나 트렌드 변화 같은 외부 요인의 영향을 최소화하기에 적합하다.

• 모수 부족 시: 실험 기간을 늘린다.
• 너무 길면: 한 달 이상 진행하면 계절, 트렌드 등 외부 변수의 영향이 커져 데이터가 왜곡될 수 있으므로 최대 한 달을 넘기지 않는 것이 좋다.

3. 샘플 사이즈: 얼마나 많은 데이터가 필요할까?

통계적 유의성을 확보하기 위해서는 충분한 샘플 사이즈가 필수 인데 AB Tasty Calculator, Evan Miller's A/B Test Calculator 와 같은 툴을 활용하여 필요한 샘플 사이즈를 계산할 수 있다.

Evan's Awesome A/B Tools - sample size calculator, A/B test results, and more

샘플 사이즈가 클수록 두 그룹의 결과 차이가 작아도 유의미한 결론을 낼 수 있지만, 샘플 사이즈가 작으면 두 그룹의 결과가 확실하게 큰 차이가 나야 실험결과가 유의미하다.

만약 예상보다 샘플이 잘 모지이 않는다면 실험 기간을 연장하거나 성공 지표 대신 보조 지표로 의사결정 하는 방법도 있다.

4. 지표 설정: 무엇을 보고 성공을 판단할까?

A/B 테스트에서는 세 가지 유형의 지표를 설정한다.

• 성공 지표: 프로젝트의 성공을 판단하는 핵심 지표로, 보통 1개를 설정 (예: 구매 전환율, 가입 완료율)
• 보조 지표: 실험 결과를 더 깊이 이해하는 데 도움이 되는 보조적인 지표, 보통 성공지표의 선행지표(예: 장바구니 담기율)
• 가드레일 지표: 서비스가 원치 않는 방향으로 흘러가지 않도록 방어하는 지표(예: 반품률, 오류 발생률, CS 건수)

가드레일 지표는 예상치 못한 부작용을 조기에 발견하여 실험을 중단하는 등 적절한 조치를 취하게 함으로써 데이터 왜곡을 방지할 수 있다.

5. P-value와 신뢰구간: 결과를 어떻게 해석할까?

• P-value: 통계적 유의성을 판단하는 지표이다. 0.05 이하일 경우, 관찰된 차이가 우연히 발생했을 확률이 5% 이하이므로 통계적으로 유의미하다고 판단한다. 0.05를 초과한다면 샘플 사이즈를 늘리거나 실험 기간을 연장하는 것을 고려해야 한다.
• 신뢰구간: 실험 결과의 정확도를 나타낸다. 샘플 크기가 커질수록 신뢰구간은 좁아져 데이터의 안정성이 높아진다.

p-value 로 통계적으로 유의미한지 확인 가능하지만, 신뢰구간까지 참고하면 더 결과의 신뢰성을 높일 수 있다.

6. 통계적으로 유의미하지 않다면?

실험 결과가 통계적으로 유의미하지 않다고 해서 실패한 것은 아니다.

• 사용자 세그먼트별 분석: 연령대, 디바이스, 지역 등으로 나누어 추가 분석을 진행하면 특정 그룹에서 유의미한 결과를 발견할 수도 있다.
• 실험 기간 늘리기 또는 새로운 가설 설정: 충분한 데이터가 쌓이지 않았거나, 처음의 가설이 적절하지 않았을 가능성이 있다.

7. A/A 테스트: 실험 환경 검증의 필수 단계

A/A 테스트는 실제 변화가 없는 A 버전과 A 버전을 비교하는 테스트이다. A/B 테스트 시스템 자체의 오류나 데이터 편향이 없는지 확인하여, 이후 A/B 테스트 결과의 신뢰성을 확보하기 위함이다. A/A/B 테스트를 통해 안정성 확인과 실제 실험을 동시에 진행할 수도 있다.

8. A/B 테스트 대상: 무엇을 테스트할까?

A/B 테스트는 구체적이고 명확한 요소에 집중해야 한다.

실험 대상	예시
UI 변경	버튼 색상, 텍스트 위치, 이미지 배너
기능 변경	추천 알고리즘 로직 A vs B
카피라이팅	CTA 문구 "지금 신청" vs "무료 체험 시작"
신규 기능	신규 기능이 추가되면 유저가 제품에 만족할지
할인 쿠폰	어떤 고객에게 할인 쿠폰을 줘야 효과적일지

A/B 테스트 결과를 정성 데이터(사용성 테스트, 유저 인터뷰)와 병행하면 사용자 행동에 대한 깊이 있는 이해를 더해 효과를 극대화할 수 있다.

9. 결과의 유효성: A/B 테스트는 만능이 아니다

A/B 테스트 결과는 그 시점에만 유효하다. 시장 변화, 사용자 트렌드 변화 등에 따라 과거의 성공적인 결과가 더 이상 유효하지 않을 수 있다. 따라서 주기적으로 재검증하고 끊임없이 개선해야 한다.

10. 샘플링 및 그룹 할당: 편향 제거가 핵심

사용자 그룹은 랜덤 할당이 기본 원칙이다. 이는 편향을 제거하고 공정한 비교를 가능하게 한다. 다만, 무작위 할당 시에도 유입 경로 차이 등 모집단의 특성을 고려하여 편향이 발생하지 않도록 주의해야 한다.

11. 하나의 테스트 = 하나의 지표

동시에 여러 지표를 한 테스트에서 측정하면 통계적 유의성 해석이 어려워진다. 실험 단위는 작고 명확하게 가져가야 한다. 즉, 하나의 A/B 테스트는 하나의 핵심 성공 지표에 집중하는 것이 좋다.

12. 트래픽이 많은 곳 우선: 효율적인 데이터 확보

A/B 테스트는 트래픽이 충분해야 빠르게 유의미한 데이터를 모을 수 있다. 따라서 홈 화면, 상품 상세 페이지 등 트래픽이 많은 곳에서 우선적으로 진행하는 것이 효과적이다.

13. A/B 테스트 설계과정

1. 목표 설정
2. 가설 설정(어떤 가설을 검증할 것인지)
3. A/B 그룹 생성
4. 실험 설계(측정 지표, 실험 기간, 성공 기간, 그룹 분배)
   1. 예) 구매 전환율이 주요 지표라면 이 지표가 10%증가하면 성공! 이라는 기준도 잡아야됨
5. 실험 실행(실험을 시작해 데이터를 수집하고 모니터링)
   1. 예) 2주동안 A/B 그룹에서 각각 구매 전환율 데이터 수집
   2. 실험 중간에 문제가 생기지 않도록 체크
   3. 한 서비스에 동시에 여러 실험이 진행 중이라면 한 사용자가 중복으로 할당되지 않도록 조심해야한다. 중복 배정이 되었는지 확인하기 위해서 사용자 로그를 분석해서 확인한다
6. 데이터 분석
7. 결과도출
8. 반복
   1. 실험 결과를 바탕으로 추가적인 개선을 위해 반복적으로 A/B 테스트 수행

14. 주의해야할점

• 초두효과(실험 배포 후에 일정 기간 동안 기존 A안이 너무 익숙해서 A안의 지표가 높다)
  • 변화를 꺼려한다
• 신기효과(지표가 높았다가 급격하게 감소함)
  • 새로운 안에대한 호기심 떄문에 긍정적인 반응
• p-value 너무 맹신하지 말기