진짜 효과 있나? 싶은 A/B 테스트 with 브랜디 (2) _코드스테이츠 PMB 11기| W5D4

진짜 효과 있나? 싶은 A/B 테스트 with 브랜디 (1) _코드스테이츠 PMB 11기| W5D3

 이전의 과제에 이어 오늘은 '브랜디'의 쿠폰 발행 이벤트 랜딩 페이지에 대한 A/B 테스트를 구상하고 설계해 보는 과제이다. 지난 과제에서 분석한 랜딩 페이지의 문제점과 개선점을 바탕으로 A/B 테스트를 설계해 보자:)

* TMI 

 어제 과제 수행을 위해 받았던 268개의 쿠폰은 그대로 "사용완료/만료" 섹션으로 이동해서 총 290개의^^ 쿠폰 이력이 남았다. (하나는 다른 것때문에 받은 쿠폰) 물론 30일 뒤에는 자동으로 사라지긴 하지만ㅎ 정말 별로다;; 쿠폰함에 따로 들어가서 확인하지 않는 이상 겉으로는 티가 나지 않지만... 굳이 저렇게 데이터 쓰레기를 만들어야 했을까...? 과연 268개의 쿠폰들의 실제 활용률이 얼마나 될지... 저 쿠폰을 다 다운받은 사람들은 얼마나 사용했을지 궁금해진다. 

 데이터 쓰레기라는 표현이 자극적일 수 있으나, 최근에는 환경 보호를 이유로 데이터 소모량 또한 줄이는 트렌드가 성행하고 있다. 유튜브도 탄소 발생량을 줄이기 위해 자동으로 화질을 조절하는 등의 정책을 시행하고 있지 않은가? 결국 사용자는 저 쿠폰들을 사용하지도 못하는데 '30일'이나 보관할 이유가 있을지 잘 모르겠다. (유저들이 직접 이력을 삭제할 수도 없다. 그저 시간이 지나길 기다려야 할 뿐...)

(좌) 220413 쿠폰함 / 220414 이벤트 종료 후 쿠폰함

A/B 테스트 대상 선정

본격적으로 과제를 시작하기 전, 이전 과제에서 도출했던 개선점들을 다시 한 번 정리해 보았다. 

 위의 개선점들을 정리하면서, 페어님의 피드백을 바탕으로 다시 생각해 보고 어떤 부분을 테스트 해 볼 수 있을까 고민해 보았다🤔 그래서 내가 선택한 부분은 "Step 2의 CTA (쿠폰 다운)"이다. 그 중 2번째 솔루션으로 제시했던 "스토어 Grouping"에 대한 A/B 테스트를 설계해 보고자 한다. 

  우선 "스토어 Grouping"을 선택한 이유는 나 스스로도 "진짜 효과가 있을까?"라는 의문이 들어서이다. 만약 같은 문제에 대해서 CTA를 통일시키는 솔루션을 선택했다면, (자만일 수도 있지만) 사용자 편의성을 당연히 증가할 것이다. CTA 6개보다는 1개를 터치하는게 편하니까... (너무 과신하는 듯한 느낌도 들지만... 합리적인 의심이 아닐까..)

 

 본격적으로 A/B 테스트를 설계하기 전, 이 문제에 대한 <가정>을 명확히 설정한 후 시작하고자 한다.

• 브랜디는 기술적인 한계 때문에 해당 이벤트 진행을 위해 반드시 6개 이상의 CTA를 삽입해야 한다.
• 사용자가 6개의 CTA를 모두 터치(활성화)한다면, 사용자의 특성에 관계없이 모두 같은 양과 혜택의 쿠폰을 수령한다. 
• 스토어 별로 발급하는 쿠폰은 정해져 있고, 해당 쿠폰팩은 하나의 CTA를 통해 다운로드 받을 수 있다. 여러 CTA에 분산될 수 없다.
  (ex. A 스토어에서 발급하는 쿠폰 a, b, c 는 3번 CTA를 통해서 한 번에 수령 (O))
  (ex. A 스토어에서 발급하는 쿠폰 a, b, c는 1번 CTA과 3번 CTA에 랜덤하게 분포(X))
• 브랜디의 유저들은 상품을 탐색할 때, 필터 기능 중 "스타일"과 관련된 기능을 적극적으로 활용할 것이다.
  (이 부분은 사전의 데이터를 통해 확인할 수 있지만, 외부인의 입장에서는 입증 및 확인할 수 없기에 가정으로 추가했다.)

 

---

A/B 테스트 과정

A/B 테스트 Setting

가설

"유저들은 무작위의 쿠폰보다, 쿠폰 사용처의 특성(스타일)을 미리 알 수 있는 쿠폰을 선호할 것이다."

 가설을 세우면서도 어떻게 명명해야 할 지 고민이 많았다. 내가 하고자 하는 모양은 명확한데, 이를 '가설'로 설정하고자 하니 약간 애매하기도 하다. 

 하지만 내가 비교하고자 하는 부분에 초점을 맞춰서 다시 생각해 봤다. 현재(A)는 어떤 쿠폰을 받을 지 모르는 CTA이고, 내가 제시한 솔루션(B)은 스토어들을 '스타일'이라는 기준으로 Grouping을 진행한 것이었다. 둘의 차이는 사용처의 특성(스타일)을 알 수 있다는 것이다. 따라서 A/B 테스트의 가설을 위와 같이 설정해 보았다.

 

목표

유저들의 쿠폰 다운 및 사용 편의성 증가

 실질적인 A/B 테스트의 목적은 전환율 및 이탈율과 같은 지표가 되겠지만, 이는 하위의 [지표] 단락을 통해 분석할 수 있기에, 보다 대의적인 목표를 작성했다. 이번 A/B 테스트를 통해 <편의성>이라는 추상적인 특성을 파악하고 관련 지표를 향상시킴으로서 브랜디를 이용하는 유저들의 UX 향상에 기여할 수 있다. 

 

기간

3일 가량 진행되는 이벤트를 주 1회 개최하여 3개월 동안 시행 (총 12회)

 내가 분석의 대상으로 삼았던 이벤트는 이미 종료되었다(...) 또한, 브랜디는 한 번에 10~20개 가량의 이벤트를 진행하고 있다.(스토어별 단독 할인 포함) 그 중 '쿠폰'을 지급하는 이벤트는 2~3개 가량이며, A/B 테스트를 진행하기 위해서는 주 1회, 이틀 정도 유지되는 이벤트를 3개월 가량 시행해 보는 것을 권한다. ("쿠폰 발행" 이벤트에 한함)

* 이벤트 기간 3일, 테스트 기간 3개월인 이유 (단순히 심신 안정을 위한 3이 아니다!)

 유저들은 1일차에 쿠폰을 다운 받고, 예정에 없던 의류 구매를 고민한다. 첫째 날에 '탐색' 자체를 고려한 후 상품 탐색을 적극적으로 시행한다. 이튿날 역시 전날에 이어 상품 탐색을 이어간다. 한 번 옷을 구매하면 적어도 몇 개월은 입기 때문에 사용자들이 꼼꼼히 탐색하는 시간을 배려해야 한다. 이틀에 걸친 탐색 결과 사용자는 최종 구매에 도달할 수 있다. 기존에 구매를 고려하고 장바구니에 상품을 담아뒀던 유저의 경우 더 빨리 전환이 일어날 가능성이 높다. 

 또한, 브랜디의 이용자 방문 행태를 고려해야 한다. 2020년 3월 기준, 브랜디는 일 방문자 수 39만 명, 월 방문자 수 270만 명을 유치하고 있다. (출처: 브랜디 블로그) 이벤트를 자주 시행하긴 하지만, 사용자들이 '매일' 브랜디에 방문하는 것은 아니기 때문에 하루의 여유를 추가 해 이벤트 기간을 3일로 설정했다. 

 추가적으로 사람들이 옷을 사는 주기를 고려하면, "계절"의 특성이 가장 큰 영향을 끼칠 수 밖에 없다. (최근에는 구분이 모호해지긴 했지만) 1년을 크게 4계절로 구분하면 계절별로 3개월 가량의 시간이 할당된다. 따라서 여러 계절의 영향을 받지 않고, 하나의 계절 내에서 구매 동향을 파악할 수 있는 기간인 3개월로 설정하였다.

 

대상

20대 여성 / 브랜디 앱 주 1~2회 방문 / 2~3주에 1회 구매 발생 /
장바구니에 물건을 담고 구매 전환되기까지 2주 이상 소요되는 유저

출처: 다이티 데이터 마켓 (재편집)

> Demographic 요소: MZ세대 중 20대 여성

 A/B 테스트에 영향을 끼칠 수 있는 요소들을 최대한 사전에 통제하기 위해 테스트 대상에 대한 특성을 사전 설정해야 한다. 우선 브랜디의 주고객층인 MZ 세대이며, 가장 많은 비율을 차지하고 있는 20대 여성으로 제한한다. 남성의 경우 모집단 자체가 너무 소수의 비율이기에 제한한다. 이번 A/B 테스트의 목적은 Demographic 요소를 시험하는 것이 아니기 때문에 배제하고 테스트를 진행해야 한다. 

오픈서베이 MZ세대 패션앱 트렌드 리포트 2021 (p.22)

> 브랜디 접속/구매 빈도: 주 1~2회 방문자, 2~3주에 1번 가량 구매하는 유저

 브랜디에 매일 방문하거나, 일주일에 3~5번 방문하는 유저들은 이미 브랜디에 충분히 많은 애정을 갖고 있다고 사려된다. 반면 2~3주에 한 번 방문하거나, 그 이상의 방문 빈도를 갖는 유저들의 경우 2~3일 가량의 단기적인 쿠폰 이벤트로 사로잡기에는 어렵다고 예상된다. 따라서 주 1~2회 정도 브랜디를 방문하는 유저들을 테스트 대상으로 선정했다.

 그 중에서도 2~3주에 한 번의 구매를 행하는 유저들을 선별한다. 매주 브랜디에 접속해 상품들을 탐색하지만, 구매를 망설이고 고민하는 사용자들로 파악되며, 이번 테스트를 통해 그들의 전환율을 향상시킬 수 있으리라 예측한다.

 또한 두 조건 모두 브랜디 이용자 중 상당 비율을 차지하기에, 이번 A/B 테스트를 통한 결과를 브랜디에 적용한다면, 타 고객군에도 긍정적인 영향을 미칠 것이다. 

 

> 추가 지표: 장바구니에 상품을 담고 구매가 이루어지기까지 2주 이상 소요되는 유저

 정확한 근거 자료를 첨부할 수 없어, 뇌피셜로 작성해 보자면 '장바구니 지표' 또한 고려해야 할 중요 요소라 생각한다. 장바구니에 상품이 담기지 않았거나, 장바구니 상품이 상품이 2주 이상 담겨져 있는 유저 특성을 꼽아보았다. 장바구니에 상품을 담고 2주 이내로 구매하는 사용자들의 경우에는 이미 충분한 구매 의사를 갖고 있으며 적극적으로 서비스를 이용하고 있다. 또한 자신만의 탐색력과 결단력을 갖고 있어 A/B 테스트에 큰 영향을 미치지 않을 것이라 예상된다. 장바구니에 물건을 담지않고 즉각적으로 구매하거나, 담자마자 당일 구매하는 사용자 역시 마찬가지이다. 

 따라서 이들의 구매 성향을 제외하고 유저 데이터를 분석해야 한다. 따라서 이번 A/B 테스트에서는 장바구니에 상품을 담고 구매가 이루어지기까지 2주 이상 소요되는 잠재 구매자 유저들의 전환율을 끌어올릴 수 있는지에 대해 실험할 수 있는 기회가 될 것이다. 

 

측정 지표

기존 대비 쿠폰 사용률(전환) 지표 10% 향상 (회차별 평균)

 아직 실무 데이터에 대한 감이 없어서 목표를 어떻게 설정해야 할 지 모르겠다. 하지만 대략적으로 설정해 보자면, 아마 이 A/B 테스트의 궁극적인 목표는 "전환율 향상"일 것이다. CTA를 다르게 설정하면 어쩔 수 없이 B안의 쿠폰 다운로드 비율은 감소할 것이다. 하지만, 쿠폰을 '다운로드'하는 것보다는 실제 쿠폰이 사용되어 결제로 전환되는 지가 더 중요하다고 생각한다. 따라서 사용자들이 효율적으로 쿠폰을 다운받아 쇼핑을 즐기고, 더 나아가 실 결제까지 이루어지는지 추적해야 한다. 전환율이 10% 이상 향상된다면 무작위로 받는 기존의 형태보다, 사용자에게 더 큰 영향을 끼친다고 볼 수 있다.

 

+ 테스트 디자인

 

참고자료: 브랜디의 

브랜디, “그로스의 본질은 끊임없이 가설을 세우고 실험해서 피드백을 거쳐 비즈니스를 성장시