[정리] A/B테스트 시행하기 #p-value #적정모수

📢 A/B 테스트 구성 절차

PROCESS

1. A/B테스트 셋팅
   • a~e 설정값은 유동적으로 변경 가능
   1. 가설
   2. 목표
   3. 기간
   4. 대상 ← 동일한 특성군을 A/B로 나눈 것 (다른 특성군 데리고 오는거 아님!!! 중요!!!)
   5. 측정 지표
   6. 결과
   7. 결론
2. 테스트 대상자 A, B 그룹으로 분류
3. : Cohort 분석이나 User Segmentation에서 분류한 사용자 그룹 적용
4. 두 가지 포맷의 테스트 (홈페이지, 기능 등) 자료 제작
5. 테스트 자료를 A, B 그룹에 각각 제공
6. 각 그룹이 어떻게 반응했는지 데이터 분석 (지속시간, 전환율, 이탈률 등)
7. P-VALUE 계산 (0.05 미만인지)
8. 결과 중 우수한 내용 실전에 반영

• 사용자가 원한다고 “말하는 것”과 사용자가 “실제로” 원하는 것은 다를 수 있다. (Netflix 홈화면 사례/ 콘텐츠 보여줘 → 실제) 가입 시 혜택 선호)
• 실제 사례 (뷰저블)

https://brunch.co.kr/@beusable/17https://brunch.co.kr/@beusable/17

A/B테스트 Tool

• Web
  • Optimize (Google)
    • 무료, GA나 Google Ad platform 등과의 통합 과정이 비교적 수월
    • (ex. Optimize로 A/B 테스트를 만들면 자동으로 GA에 등록)
    • (단점) GA 안에 있던 기능이 분리되어 나옴 + Optimizely 보다 늦게 나옴 ⇒ 기능 부족, 코딩 지식이 없다면 이용에 어려움
  • Optimizely
    • 이미지로도 테스트 설계 용이 , Custome 가능, 유료
• App
  • Firebase (Google)
    • 무료, 구글 빅쿼리와의 연계 지원
  • Optimizely
    • 유료, 앱/웹 분석이 전부 가능한 도구

• A/B테스트 활용: 랜딩페이지, 사이트 레이아웃, UI, CTA 문구/버튼 색/위치, 가이드 메세지, 제품 메세지(푸시 알림 등)
• 읽기자료
  • Data-driven 마이리얼트립

데이터가 흐르는 조직: 시즌2를 준비하며

 

 

---

📢 적정 모수와 p-value

p-value

• A/B테스트를 했을 때, 두 그룹이 정말로 전환율에 차이가 있는 것인지 우연인지 의심
• 정의: 실제로는 차이가 없는데, 모수 등의 문제로 인해 차이가 발생할 확률, 0.05보다 낮으면 신뢰 가능
• 단, “0.05”에 사로잡혀 Biz 관점에서 보지 못해 다음 단계로 진행이 안된다면 오히려 역효과 날 가능성 있음
• P-value 계산 site

A/B Testing Calculator for Statistical Significance | SurveyMonkey

주의 사항

1. 버튼 색깔과 같은 작은 UX를 과대평가 하지 말자 → low-hanging fruit (적은 노력을 들여서 성과를 낼 수 있음)
   • 단점: 브랜드 이미지나 서비스 방향 등과 일치, 혹은 영향을 받았기 때문이지 무조건 색깔 변경이 효과적이지는 않음. 또한 일시적인 효과일 가능성이 높음.
   • 리소스가 남을 때는 괜찮지만, 버튼 색깔 변경을 우선순위 최상단에 놓는 실수를 하지 않도록 주의
   ⇒ 서비스 품질이나 고객 커뮤니케이션을 통해 UX 개선해야 함
2. 가설 없는 A/B 테스트는 인사이트를 얻을 수 없다
   • A/B 테스트의 목적은 단순히 전환율 향상이 아닌, 더 나은 의사결정을 위한 인사이트 도출이 목적
   • 검증하고자 하는 가설은 무엇인가?
     • 자칫하면 답정너 A/B 테스트가 될 수 있음 (정답을 정해놓고 합리화하기 위해 사용될 위험)
   ⇒ 가설 하에 배치, 카피 고려, 그 결과에 따른 후속 조치 필요
3. 통제 변수는 1개만
   • 어떤 요소가 영향을 미쳤는지 정확히/자세히 파악할 수 없음
   • 한 번에 한 가지의 변수만 조치, 테스트가 끝난 후 다른 요소 변경 후 새로운 테스트 진행
   ⇒ 가설 설정과 변인은 1가지만 설정한다. (단, 한 달 안에 5개 변인을 모두 테스트 해야할 때 → 어쩔 수 없이 한 번에 테스트 하는 경우도 있음. = 상위의 목표를 위해 어느 정도의 융통성은 필요하다)
4. 시간의 흐름에 따른 차이를 고려
   • 변경 초기에는 사용자의 호기심 때문에 전환율, p-value 등의 지표에 영향
   • 시간의 흐름에 따른 추이 변화, 특정 브라우저의 버그, 기능 오류 등의 외부 오류가 없는 지도 재차 확인

 

A/B 테스트 결과는 언제까지 유효한가?

• 테스트의 결과가 아무리 좋다고 해도 계속 유효하고, 지속된다고 보장하기 어렵다
• 테스트 시점, 계절의 변화, 사용자층의 변화, 시장 상황의 변화, 사용자 취향의 변화 등 시간의 흐름에 따라 달라질 수 있는 외부 환경 요인이 다양
  → 이를 고려하여 A/B 테스트 결과 활용. 일정기간 후 새로운 A/B테스트를 진행해야 함

• 읽기자료 

A/B 테스트와 P-Value