코드스테이츠| PMB 11/Weekly 과제

내맘대로 기획하는 <네이버 쇼핑>의 MVP_코드스테이츠 PMB 11기| W3

Sutella 2022. 4. 3. 11:39
728x90
제품(기능 기획)
문제 해결을 위한 핵심 기능 정의
어떤 문제에 집중할 것인가

 내가 발견한 Pain point는 #과한 옵션 추가금 과 #필터링 노이즈, 2가지이다. 다만 두 가지 문제 모두를 동시에 해결하기엔 현재 내 능력상 한계가 있다고 생각해 하나의 문제에 집중하고자 한다.

 

 옵션 추가금의 경우 셀러들이 등록하는 부분으로, 스마트스토어에서 하달하는 가이드라인을 개선하거나 이를 모두 개별 상품으로 취급하여 개선할 수도 있다.

 필터링 노이즈를 해결할 수 있는 가장 좋은 방법은 관련 알고리즘을 개선하는 것이다. 해당 문제와 관련된 데이터를 학습시켜 서비스에 적용하는 것이 부가 기능을 만드는 과정 없이 최고의 해결법이라 생각한다. 

 

 그렇다면 나는 어떤 문제에 집중해야 할까? 이 과제는 "개발자" 과정이 아닌 PM 과정에 속해 있기에, 알고리즘상 수정이 안된다는 것을 가정하여 이를 해결하기 위한 기능을 기획해보고자 한다. 따라서 내가 선택한 문제는 '필터링 노이즈'이다. 그 중에서도 '옵션 미적용'에 따른 노이즈는 알고리즘이 해결해야 하는 문제로 생각되기에😂 이번 과제에서는 "제품 중복에 따른 필터링 노이즈"를 중심 문제로 설정하여 진행하고자 한다. 

 

cf. 웹 vs 앱, 어디에 집중할 것인가

출처: 에이스카운터 (2021년 3분기)

 먼저 네이버 쇼핑은 기본적으로 '네이버' 포털을 통해 접근할 수 있다. 별도의 앱이 없으며, 네이버의 검색 결과에 기반하여 상품을 노출하는 경우가 다수이기에, 디바이스별 유입 비중을 비교해 보았다. 에이스카운터에서 발행한 자료에 따르면 네이버는 Mobile 유입이 PC에 비해 7.86% p 더 높았다. 따라서 본 과제에서는 Mobile 버전에 대해서만 다룰 예정이다.

 

기능이 가져야 할 속성은 무엇인가

 '제품 중복'을 막기 위해 어떤 부분이 필요할까? '제품 중복'에 대해 보다 자세히 설명해 보자면, 동일한 제품인데 알고리즘 상 다른 상품으로 분류되어 가격 비교 창에 묶이지 않는 것이다.

  1. 하나의 상품으로 묶여야 한다
     기존 알고리즘에서 중복 제품을 한 번 걸렀음에도 불구하고 다른 상품으로 분류되고 있다는 것이 핵심 문제이다. 따라서 '하나의 상품'으로 인식되어 이용자가 한 번에, 함께 비교할 수 있어야 한다. 
  2. "동일한 정보"가 무엇인지 판별
     같은 상품을 판매함에도 불구하고 알고리즘이 다른 상품으로 인식하는 이유를 파악해야 한다. 셀러가 등록한 상품 페이지에서 판매 상품명/대표 이미지/상세 페이지/판매업체/사업자번호/제조'유통업체 등 다양한 정보 중 어떤 부분에 있어서 공통점이 있는지, 동일한 상품으로 판단할 근거를 확보해야 한다.
  3. 정말 같은 상품인가
         현재 가격 비교로 묶여있는 상품/사이트들에도 적용되는 문제이지만, 이미 묶인 상품이나 묶을 상품이 같은 상품인지에 대한 확신이 있어야 한다. 현재 이용자가 가격비교 창에서 볼 수 있는 부분은 판매처와 상품 가격, 배송비뿐이다. 따라서 소비자들의 원활한 비교 판단을 위해 동일 제품으로 생각되는 상품들이 일치하는지에 대한 확인 과정이 필요하다.
  4. 가격 비교는 타당한가 (같은 조건인가)
     이커머스와 오픈마켓 특성상 가격 비교가 타당한지에 대해 생각해 보아야 한다. 가격 비교 창에서는 300원가량 비쌌던 판매처에서는 사은품을 준다면, 이는 동일한 상품임에도 불구하고 소비자의 결정을 충분히 바꿀 수 있는 요소이다. 또한, 다른 상품으로 분류되었는데 그 차이가 '사은품'의 유무라면 이것은 다른 제품으로 봐야 할까? 연달아 확인할 수 있다면 소비자에게 이롭겠지만, 알고리즘이나 네이버 랭킹, 판매량 등의 기준에 따라 전혀 다른 순번에 배치된다면 이는 소비자에게 충분한 정보를 제공할 수 없을 것이다.

 

MVP 제작을 위한 최소한의 기능 정의

 나 역시 소비자의 입장으로서 이런 기능, 저런 기능이 다 들어가면 좋겠다는 욕심이 생긴다. 하지만 학습 과정에서 배운 바에 따르면, 과욕불급(過慾不及)이라 많이 덜어내는 과정이 필요하다. 위의 4가지 속성을 생각했을 때 최소 기능을 정의해 보자면 

  • 동일한 정보 판별
  • 같은 상품인지 확인

 2가지로 정리될 것 같다. 또한 이 문제는 'AI/알고리즘은 못했지만 사람은 발견한' 문제이기 때문에 사람의 개입이 있어야 할 것 같다고 예상해 본다. 

 

 

프로토타입 제작
 참고 솔루션

> 카카오맵 '잘못된 정보 수정'

 평소 이용하던 어플 중 '카카오맵'의 기능을 참고했다. 카카오맵을 이용해 목적지를 찾아갔지만 다른 가게로 바뀌어 있는 경우, 혹은 폐점한 경우를 종종 접하곤 했다. 내 오지랖이겠지만, 나는 이러한 경우에 오류 수정을 적극적으로 제의하는 편이다. 나 또한 나도 모르는 사이 누군가의 오지랖으로 정확한 정보를 얻었을 수 있다는 생각에서였다. 

 

 생각보다 변경 절차는 간단했다. 해당 장소 화면에서 [잘못된 정보 수정] 버튼을 누르면 삭제/수정을 고를 수 있는 페이지로 전환되며, [장소 삭제]를 누르면 간단한 이유와 사진을 첨부하도록 되어 있다. (사진을 첨부하지 않아도 접수는 가능하지만, 정확한 판단이 어렵기에 반려되는 경우도 있다.) 

 

 의견을 보내면 카카오 고객센터에서 문의 접수 확인 메일이 전송되며, 요청이 처리되는 대로 결과(승인/반려 등)를 안내해 준다. 

 

프로토타입

프로토타입 상세 설명

(좌) 상품 검색 결과 / (우) 상품 카탈로그 페이지

1, 2. 네이버 쇼핑의 상품 검색 결과 및 상품 카탈로그 페이지

 현존하는 페이지로써, 네이버 검색 결과에 따라 네이버 쇼핑으로 이동할 경우 마주칠 수 있는 페이지이다. 상품 검색 결과에서 특정 상품을 터치하면 [카탈로그] 페이지로 이동하며, 아래로 스크롤하면 가격을 비교할 수 있는 판매처 목록이 노출된다. 

 나는 두 페이지에서 각각 '찜 버튼' 아래 <버튼>을 추가하여 동일한 제품으로 의심받는 상품을 확인할 수 있도록 구상했다. (상품명 우측 ♡ 모양 아래 '노란색 원' 버튼) 이미 동일한 상품으로 의심되는 제품이 있다면 노란색으로 활성화되며, 그렇지 않은 경우 '회색 원'으로 표기된다. '회색 원'일 때는 현재 의심되는 상품이 없는 경우이며, 이용자가 최초 제안을 할 수 있다.

* 알고리즘 상으로 잡아낼 수 없는 노이즈에 대한 기능으로, 자동화가 될 수 없다는 가정을 다시 짚고 넘어가고자 한다.

 

3. [동일 제품 의심] 페이지

 동일 제품으로 의심되는 상품이 없다면 해당 버튼이 비활성화되어 있지만, 만약 의심되는 상품이 등록되어 있다면 가시적인 색깔로 활성화되어 사용자에게 알린다. 팝업창으로 의심 상품들이 나타나며 해당 화면에서 바로 연결될 수 있다. 이는 사용자들의 신고 및 등록으로 이루어지며, 해당 페이지에서 바로 등록할 수 있도록 설계했다. <등록하기 +> 버튼을 누르면 새로운 페이지로 전환되며 아래 화면(4번)이 나타난다.

 

4. [동일 제품 의심 상품] 등록하기

 앞서 언급한 카카오 맵의 '잘못된 정보 수정'에서 착안하여 구상하였다. 손쉽게 등록할 수 있도록 이용자의 찜 목록에서 해당 상품을 불러오거나 판매 페이지의 URL을 삽입하여 간편하게 연결할 수 있다. <등록 사유> 또한 '체크 박스' 속성을 띄어 사용자가 동일한 제품으로 의심하는 이유를 선택하여 의견을 제출할 수 있다.

 

* 이후의 절차

 이용자가 의견을 제출하면 유관 부서에서 이를 심사하여 [동일 제품 의심] 페이지에 반영한다. "승인"된다면 버튼의 색깔이 바뀌며 상품을 노출하고, 반려되는 경우 그 이유를 의견 제출자에게 알려야 한다.

 

 

사전 고객 인터뷰

 위 기능에 대한 고객 의견을 조사하기 위해 2명의 이용자와 인터뷰를 진행했다.

  1. (이미지만 보여준 후) 어떤 기능인지 추측이 가능한가?
  2. (기능에 대한 설명을 한 후) 기능을 쓸 것 같은가?
  3. [동일 제품 의심] 팝업과 [등록하기]에 대해 점수를 매긴다면 몇 점인가? 그 이유는 무엇인가?
  점수 이유
의심 등록
30대 여 100점 50점 등록 과정이 많이 귀찮을 것 같다. 내가 등록할 의향은 없지만 누군가 해 준 것이라면 잘 사용할 것 같다.
20대 여 75점 50점 의심) 알고리즘이 한다면 정확도가 많이 떨어질 것 같다. 네이버 쇼핑 렌즈만 봐도 크게 효용성이 없다.
등록) 소비자는 생각보다 주도적이지 않다. 바쁘다 바빠 현대사회에서 주도적으로 등록할 사람이 얼마나 될까? 근데 남들이 해주면 편할 것 같긴 하다.

 인터뷰 결과 대체적으로 기능에는 만족할 것 같지만, [등록하기] 부분에는 회의감을 보였다. 생각보다 소비자의 적극성이 떨어지며, "쇼핑"이 목적인데 타인을 위해 자신의 노력을 희생하는 경우는 생각보다 많지 않을 것이라는 의견이었다.

 

 두 명의 인터뷰이였지만 상당히 신빙성이 있는 의견이었다. 나는 주도적인 소비자인 편임을 스스로도 인정하며, [등록하기] 과정에는 나 스스로도 약간의 불신이 남아있었다. 

 

 인터뷰를 통해 '어디까지는 행동할 수 있는지'에 대해 알 수 있었으며, 이를 반영하여 프로토타입을 재설계했다.

 

최종 프로토타입

변경 사항

 처음에 설계했던 4단계를 제거하고, 3단계에 이용자의 의지가 개입될 수 있도록 재설계했다. 

 

 네이버 쇼핑에서 기존에 적용하고 있던 '유사 상품 추천' 기능을 응용하여, 알고리즘을 이용해 [동일 제품 의심] 페이지를 구성한다. 단순히 하나의 검색 결과에 노출된 상품들이 아닌, 제품의 형태가 비슷하거나, 이용자들의 이동 경로를 분석하여 같은 제품으로 의심되는 상품을 노출시킨다. 상품 하단에 같은 제품인지를 묻는 설문 영역을 추가하여, 알고리즘 개선 및 이용자 경험 개선에 도움을 줄 수 있다.

 

 

솔루션 정의 (Solution Statement)

중복 상품 연결 기능

 

사용자 시나리오 설정 (시장호응가설)
(가설)
만약 사용자들이 '중복 상품 연결 기능'을 이용한다면,
상품 비교가 더욱 용이해질 것이며 최저가 쇼핑이 가능할 것이다
사용자 시나리오

 이전의 인터뷰이에게 수정 사항에 대한 의견을 다시 물어본 결과, 두 명다 바로 체크할 수 있는 수준이라면 이용할 의사가 있다-고 말했다.

 

 

BM 강화하기
비즈니스 모델 분석 및 강화

수익 구조

1. 셀러 및 플랫폼 중개 수수료

 네이버 쇼핑은 '포털'을 기본 베이스로 두고 있어 스마트스토어 및 타 플랫폼(커머스)들의 상품을 노출시키고 있다. 별도의 등록 수수료는 없지만 네이버 쇼핑을 통해 발생한 판매 건에 대해서는 일정 수수료를 부과하여 수익을 창출하고 있다.

 

2. 광고

 네이버 쇼핑은 다양한 형태의 광고 상품을 판매하고 있다. <쇼핑 검색 광고>에서는 광고주가 상품 단위로 적용한 '입찰가'와, 이용자가 검색한 키워드와 상품의 '연관도'에 의해 광고 순위가 결정되며, 클릭이 일어난 횟수에 따라 비용을 지불하는 CPC 과금 방식으로 비용을 산정한다. <네이버 쇼핑> 페이지 내의 상품형 광고뿐만 아니라, 포털의 검색 결과에 노출되는 브랜드/웹사이트 광고 등도 네이버 쇼핑이 주관하고 있어 주요 수익원이라 짐작할 수 있다. 

 

3. 네이버 플러스 멤버십 

 2021년 1월에 론칭한 '네이버 플러스' 멤버십은 네이버 쇼핑에게 새로운 수익원으로 자리 잡고 있다. 월 4,900원으로 책정된 가격은 유료 멤버십 시장에서는 비싼 편에 속하지만, 실질적인 혜택과 가격 차이를 생각하면 합리적이라는 인식이 팽배하고 있다. 현재 네이버 플러스 멤버십 가입자는 약 600만 명으로 추정되며, 매달 약 2,940억 원의 수익이 발생하리라 예측할 수 있다. 론칭한 지 겨우 1년 여가 지난 시점이지만, 순식간에 시장을 잠식하며 많은 소비자들을 끌어모으고 있는 네이버 쇼핑의 수익원 중 하나이다.

 

강화

 앞서 언급한 [중복 상품 연결 기능]을 도입하는 것은 비즈니스 모델의 "제공 가치" 영역을 보다 강화할 수 있다. 이는 사용자에게 보다 나은 쇼핑 편의를 제공함과 동시에, 알고리즘 수정에 필요한 데이터를 수집할 수 있는 채널의 역할을 수행할 것이다.

 

 현재 유사 상품을 카테고라이징 하기 위한 알고리즘이 작동하고 있지만, 기계가 해결하지 못한 노이즈로 이용자들은 불편을 겪고 있었다. 예를 들어 네이버 (쇼핑) 검색창이나 네이버 쇼핑 렌즈를 통해 '회색 맨투맨'을 검색/촬영하면, 해당 브랜드의 '그' 맨투맨이 나오는 것이 아닌, 세상에 존재하는 거의 모든 회색 맨투맨이 검색 결과로 쏟아져 나오는 듯하다. 

 

 하지만 [중복 상품 연결 기능]을 통해 이러한 노이즈 문제를 일부 해결할 수 있으리라 생각한다. 유저들의 방문 경로와 이미지, 상품명 등의 여러 데이터를 추산하여 "동일 제품"이라 예상되는 상품 후보군을 노출시킨 후, 이용자들의 의견을 수집해 알고리즘을 보정하는 것이다. 

 

 이는 "종합 쇼핑몰"이라는 네이버 쇼핑의 본질적 측면에 있어서 더 나은 쇼핑 편의를 제공할 수 있을 것이다. 또한 주로 '비교 검색'을 위해 네이버 쇼핑에 접근하는 소비자들에게는 더욱 유용하게 느껴질 것이며, 해당 기능을 통해 가장 유사한 상품들을 더 잘 찾아볼 수 있는 기회도 제공할 수 있다.

 

 따라서 [중복 상품 연결 기능]은 정보의 바닷속에서 이용자들이 원하는 결과를 더 빨리, 더 잘 찾아낼 수 있기에 타 사가 따라올 수 없는 "쇼핑 편의"라는 가치를 강화할 수 있다.

 

솔루션(MVP) 검증하기
솔루션 검증 방법 & 평가 지표 설정
누구에게, 몇 명에게, 어떤 채널을 통해 솔루션을 검증받을 것인가

출처: 닐슨코리아 클릭 (2021)

 플랫폼을 통해 수집한 데이터에는 정확한 사용자 특성(직업, 취향 소비 습관 등)을 정확하게 반영할 수 없고 편향될 수 있기에, 가장 대중적인 기준인 '데모 그래픽 지표'를 사용한다. 그중에서도 연령과 성별을 기준으로 Facade 테스트를 시행한다. 직접적으로 알고리즘에 반영하는 데이터 수집이 아닌, UI 창만 개선하여 이용자에게 버튼이 노출되는 횟수, 버튼을 누르는 횟수, 네/아니오 응답 수를 수집하여 전환율을 파악한다. 

* Facade test: 아직 접근성이 떨어지는 제품/서비스를 사람들의 관심 수준 확인을 위한 테스트

 

 큰 수의 법칙(law of large numbers)과 중심 극한 정리에 따라 표본 값이 30 이상이면 모집단의 경향을 반영한다고 판단할 수 있다. 다만, 네이버 쇼핑의 경우 (1) 이용자 규모가 워낙 방대하며, (2) 연령대의 이용자 비율이 동일하지 않기 때문에, 연령과 성별의 비율을 근거로 1,000명에게 우선적으로 검증받고자 한다.

 

 닐슨코리아 클릭의 조사 결과에 따르면, 네이버 쇼핑의 이용자 연령대와 성별은 위와 같다. 특히 '상품 검색'을 이용하는 연령대를 타기팅하여 테스트를 진행하며, 위 조사 결과를 근거로 이용자를 배분한다. 그 결과는 다음과 같다.

  남 여 총합
10대 32 28 60
20대 100 90 190
30대 154 136 290
40대 138 122 260
50대 80 70 150
60대 27 23 50
총합 530 470 1,000

 만약 이용자들의 이용 경로 데이터를 활용할 수 있다면 "하나의 구매가 일어나기까지 많은 상품을 탐색한 사람"이 주 검증 대상일 것이며, 이를 활용할 수 없다 해도 랜덤 추출된 표본이라 대표성에는 무리가 없을 것이다.

 

남여 연령별 네이버 쇼핑 최상위 검색어 (닐슨코리아 클릭 (2021))

 조사 결과에 따르면 남녀 모두 연령에 관계없이 '패션'과 관련된 상품이 검색어 Top 10에서 대다수를 차지했다. '패션' 카테고리 내 특정 상품을 선정하여 같은 상품이지만 제품명/판매자/대표 이미지 등이 같지 않은 상품을 테스트 페이지에 구성한다.

 단 5060 세대의 남성의 경우 패션과 관련된 검색어가 존재하지 않기 때문에, 카테고리 내 제품 비교가 쉬운 '축산식품'이나 '사무기기'에서 비교군을 추출하여 테스트에 사용한다.

 해당 표본 중 각 그룹의 절반에게는 [동일한 상품]을, 다른 쪽에는 다른 상품을 제안하여 소비자가 해당 기능을 쓰는지에 대해 알아본다. 이를 통해 응답의 정확률 또한 파악하여 해당 기능의 유효성에 대해서도 분석한다.

 

 Facade 테스트를 진행한 후 관련 지표를 취합하여 아래의 수치를 계산한다.

 

  • 버튼 유입률 = [중복 상품 연결 기능] 버튼을 누른 유저 수 /  [중복 상품 연결 기능] 버튼에 노출된 유저 수
  • 응답률 = 팝업 내 <네/아니오> 응답자 수 / [중복 상품 연결 기능] 버튼에 노출된 유저 수
  • 정확도 = ( 팝업 내 <네> 응답자 수 / 동일한 상품 제시 군의 크기 ) + ( 팝업 내 <아니오> 응답자 수 / 다른 상품 제시 군의 크기 )

 

 

> (나중을 위한 ) Sample size Calculator

 

Sample size calculator

This statistical significance calculator allows you to calculate the sample size for each variation in your test you will need, on average, to measure the desired change in your conversion rate. In many cases, if Intelligence Cloud detects an effect larger

www.optimizely.com

 

솔루션의 성공/실패를 판단하기 위한 평가 지표는 무엇입니까?

> KPI 정리

K: 중복 제품 카테고라이징을 통한 쇼핑 편의 개선
P: [동일 제품 의심] 기능 활성화
I: 버튼 유입률, 응답률, 정확도

 

  • 버튼 유입률 30% 이상
    : 버튼의 크기 및 화면 차지 비율을 고려하여 과반보다 낮은 목표치를 설정했다.. 화면을 빠르게 스크롤하여 이동하는 특성상 익숙하지 않은 작은 버튼을 누를 확률이 낮다고 생각한다.
  • 응답률 50% 이상
    : 별다른 피해가 없다면 하나의 질문에 대해서는 의사를 밝히기 어렵지 않을 것이다. 하지만 신규 기능인 점을 고려하여 목표치를 절반으로 정했다.
  • 정확도 30% 이상
     [동일 제품 의심] 페이지를 본 이용자들이 의심되는 상품을 세심히 살펴볼 확률이 얼마나 될까? 나는 꽤 낮을 것 같다고 예상한다. 단순히 상품명과 대표 이미지로만 판단하는 것이 아닌, (패션 분야이기에) 질감, 디자인, 브랜드, 두께 등 다양한 조건을 비교해야 하기 때문이다. 따라서 상품의 정확도 목표는 30%로 산정 했다.
728x90