“잘 만든 Product에는 잘 만든 지표가 있다.”
목차
이 글은 이런 분들께 추천합니다
•
UX 개선 프로젝트에서 목표 지표를 설정하기가 막막한 프로덕트 매니저
•
UT에서 얻은 데이터를 어떻게 활용해야 할지 고민인 분
•
정량/정성 데이터에서 인사이트를 발견하는 방법을 알고 싶은 분
Editor | 홍선아 Product manager
커머스 플랫폼의 Product manager로 일하고 있습니다.
“왜?”라는 질문을 던지기를 좋아하고, 그 답을 찾는 수단으로서 데이터를 공부합니다.
1. UX 목표를 지표 설정에 반영하기
.png&blockId=187f136b-17e0-41c1-a1c5-d0659000409c)
목표를 실제로 달성하려면 항상 "WHY"를 질문해야 합니다.
1.
지표 설계의 목적은 무엇인가? 왜 이걸 해야 하는가?
2.
지표를 확인하면 그로부터 액션플랜을 세울 수 있는가?
위 질문에 대답을 했다면, 이제 2가지 주의사항을 짚고 넘어가야 합니다.
첫째, 정량 데이터는 “현재” 사용자 경험에 대한 통찰력을 얻는 “수단”입니다.
둘째, 높은 수준의 UX를 목표로 세우고, UX 목표의 달성 여부 판단 기준으로서 지표를 세워야 합니다.
목표를 정의한 후 지표 결정하는 과정
1) 기능 또는 디자인 요소의 목표는 무엇인지 스스로 질문하세요.
•
ex.
◦
특정 페이지의 이탈률을 줄이는 것
⇒ 이것은 아직 진정한 목표라고 할 수 없습니다.
◦
해당 페이지의 이탈률에 관심을 갖는 이유
⇒ 적절한 사람들이 검색 엔진에서 사이트의 적절한 페이지에 도달하기 위해서
◦
해당 페이지를 방문하는 사용자에게 어떤 경험을 제공하고자 하는가?
⇒ 해당 페이지의 콘텐츠가 매력적 & 도움이 됨
2) 유저의 특정 행동을 목표 달성의 신호(signal)로 결정합니다.
•
ex.
◦
유저가 특정 콘텐츠에 engage되는지 여부
◦
타겟 유저가 적절한 페이지에 도달하는지 여부
3) 가장 강력한 신호만 간추립니다.
1가지 혹은 여러 가지일 수 있지만, 각각의 신호들은 서로 MECE한 상태여야 합니다.
MECE가 무엇인가요?
•
각 항목들이 상호배타적이지만, 모이면 완전한 전체를 이루는 것을 말합니다.
참고. 위키백과 - MECE
4) 가장 강력한 신호를 측정하는 방법을 정의합니다.
•
ex.
◦
스크롤 히트맵 사용, 다수의 사람들이 스크롤 & 읽을 것으로 예상되는 페이지 길이를 측정
◦
랜딩 페이지 유입 케이스 중 아래 케이스의 비중
▪
유입에 기여한 추천 소스 OR 검색 키워드가 랜딩페이지 콘텐츠/목적에 부합하는 케이스
2. Analytics에서의 발견을 Usability Studies에 적용하기
.png&blockId=c8d6b633-77ab-46a0-9e25-5929af1cc7f8)
한 줄 요약
정량 분석 이후에 사용성 연구로 why를 검증해야 하며,
이때 정량 분석에서 발견된 패턴에 따라 적합한 UT 방식을 선택해야 합니다.
추정하지 말고 “검증”하세요.
1.
정량 분석으로 발견하는 것은 UX 문제 “가능성”입니다.
2.
바로 솔루션을 설계하지 말고, 검증을 거쳐야 합니다. “진짜 고객이 겪는 문제가 맞나?”
3.
그래서 UT를 거쳐서 문제의 뿌리까지 뽑아야 해요.
정량 분석과 UT를 함께 진행하면 왜 좋을까요?
정량 데이터는 “현재 어떤 액션이 얼마나 발생하는지” 알려줍니다.
하지만, 그 이유(WHY)까지는 알 수 없다는 단점이 있어요.
반면, UT를 통해서는 “우리가 원하는 액션이 발생되지 않는 이유(WHY)”를 알 수 있어요.
정량 데이터로 확인하지 못한 부분까지 알 수 있지요.
때문에 정량 분석과 UT를 함께 진행했을 때, 문제를 명확히 정의하고 해결할 수 있습니다.
정량 분석 결과를 UT에 어떻게 반영하면 될까요?
UT에서 유저에게 요청할 태스크를 설계할 때, 정량 분석 결과에서 발견되는 패턴을 동일하게 반영하면 됩니다.
1) 정량 분석 결과 : 유저들이 특정 flow를 아예 시작도 안했다면?
UT에서 Open-ended task를 활용하는 것을 추천합니다.
단순히 서비스를 탐색해보도록 요청하거나, ‘그 다음 단계로 어떤 것이 예상되는지’ 질문하는 방식이에요.
유저가 왜 특정 액션을 하고/하지 않는지 - 풍부한 정보를 얻을 수 있습니다.
•
ex.
◦
앱을 처음 방문한 유저 중 nn%가 상품 구매 flow를 아예 시작도 하지 않고
첫 방문 후 7일만에 이탈한다.
◦
UT에서 유저에게 “홈에서 마음에 드는 상품을 구매해보세요” 요청한다.
◦
[상품상세 > 주문하기] 에서 유저가 어떻게 행동하는지 관찰하고 왜 그렇게 행동했는지 질문한다.
2) 정량 분석 결과 : 유저들이 특정 flow를 시작은 했지만, A 파트에서 중도 이탈했다면?
UT에서 Directed task를 활용하는 것을 추천합니다.
유저에게 flow를 끝까지 진행하도록 요청하고, A파트에서 어떻게 interaction하는지 관찰하고 질문하는 거지요.
•
ex.
◦
[홈 > 상품상세 > 주문하기 > 주문완료] 퍼널에서
[상품상세 > 주문하기] 퍼널에서의 이탈율이 상대적으로 높다.
◦
UT에서 유저에게 “홈에서 마음에 드는 상품을 구매해보세요” 요청한다.
◦
[상품상세 > 주문하기] 에서 유저가 어떻게 행동하는지 관찰하고 왜 그렇게 행동했는지 질문한다.
정리하자면, 정량 분석 결과로 발견된 패턴에 따라 UT에서 유저에게 요청하는 태스크는 다음과 같이 나뉘어집니다.
•
open-ended task : 정량적 데이터 - 상위 퍼널에서의 패턴을 검증할 때
◦
ex. 왜 시작도 안할까?
•
directed task: 정량적 데이터에서 발견되는 특정 이슈를 깊게 파고들 때
◦
ex. 왜 여기에서 이런 행동패턴이 나타날까?
3. Analytics에서 발견되는 숫자가 모두 의미있진 않습니다.
.png&blockId=1539acb5-fc01-4813-a717-bca62fe00668)
한 줄 요약
인사이트를 도출할 때, Hard data와 Soft data를 분리해서 봐야 합니다.
Hard data : 그 자체만으로 인사이트 도출 가능한 데이터
•
ex. 상품상세 전환율
: 유저가 어떤 액션을 취했고, 그 결과로 무엇을 얻고자 했는지 명확하다.
Soft data : 정확한 해석을 위해 추가 연구가 필요한 데이터
•
ex. 상품상세 평균 체류 시간 : 유저가 왜 해당 시간동안 체류했는지 가능한 이유가 다양하다.
◦
(우리 프로덕트에서는 전자 기기를 판매하는데) 전자기기를 구매하는 고객들은 상품상세를 꼼꼼히 읽어보기 때문에
◦
유저가 원하는 액션으로 연결되는 버튼(주문하기/문의하기 등)을 찾기 어려웠다
◦
등등…
4. 유저의 태스크에 따라 데이터 해석 관점은 달라야 합니다.
.png&blockId=e8762d4f-27c5-47c6-b168-433ccce077ba)
한 줄 요약
수행하는 태스크가 productivity tasks 혹은 Engagement tasks인지에 따라 데이터 해석 관점은 달라집니다.
Productivity tasks는 아래와 같이 달성 가능해야 합니다.
•
빠르게 끝나야 함
•
효율적(최소 시도)
•
효과적
Engagement tasks는 유저가 아래와 같이 행동하게 만듭니다.
•
더 많은 시간을 보냄
•
다양한 시도
•
콘텐츠와 UI를 조회함
생각 덧붙이기
•
커머스 플랫폼의 경우, 목적형 유저/ 탐색형 유저로 유저를 나눠서 분석하기도 합니다.
•
목적형 : “여름이니까 휴양지에서 쓸 모자를 사야지”
•
탐색형 : “요즘엔 어떤 옷이 유행이지?”
5. 허상 지표에 맥락을 더하기
.png&blockId=1bc9c65a-770f-40a3-8eab-8d130d0c9cf6)
한 줄 요약
우리가 얻고자 하는 인사이트는 단순한 number가 아닌, rate or ratio에 있습니다.
Vanity metric ; 허상 지표
허상 지표는 얼핏 보면 인상적일 수 있으나 결국 인사이트를 얻을 수는 없는 지표입니다.
시간의 흐름에 따라 자연스럽게 증가하는 지표들이기 때문에, UX에 대한 정보를 줄 수 없어요.
•
ex. 누적 앱 다운로드 수, 누적 페이지 조회수, 누적 거래액, 총 회원 수
한편, 추적된 지표는 반드시 액셔너블해야 합니다.
이 지표를 봄으로써 “다음에는 A를 해보자” 라는 식으로 액션 플랜이 나와야 하는 것이지요.
그리고 어떤 지표든 의미있는 지표가 되기 위해서는 맥락이 반드시 필요합니다.
하나의 성장하는 number 대신, rate or ratio를 통해 맥락을 발견할 수 있습니다.
아래와 같이 예를 들어볼 수 있겠지요.
•
ex.
◦
number
▪
PDP total events per unique user
▪
장바구니 total events per unique user
◦
ratio
▪
PDP > 장바구니 전환율 per unique user
= (장바구니 total events per unique user)/(PDP total events per unique user)
이때, rate나 ratio가 꾸준히 안정적인 상황이 가장 이상적입니다.
안정적인 상태를 유지하다가 갑자기 rate나 ratio에서 변동이 생기면,
랜덤한 변동인지 혹은 의도된 변동인지 추적하기 용이하겠지요?
생각 덧붙이기
의도된 변동 : 기능, 프로모션도 해당될 수 있다고 생각합니다.
랜덤한 변동 : 패션 커머스 플랫폼의 경우, 외부에서 발생한 바이럴이나 시즌의 영향을 받기도 해요. 다른 프로덕트는 어떤지 궁금하네요!
ex. 2-3월에 전반적인 지표가 증가함. 신학기 등으로 옷 구매하려는 니즈가 증가하므로.
맥락을 더하는 방법 3가지
1. Time Frame : 기간 설정으로 맥락 발견하기
기간을 설정하고 주어진 기간동안 지표 비율이 성장하는지 확인하는 방법입니다.
크게 2가지 time frame이 있습니다.
1) Short time frames
•
빠르게 데이터를 보고, 빠르게 액션에 옮길 수 있습니다.
•
단, 랜덤한 변동들이 섞여서 명확한 인사이트를 얻기 어려울 수 있어요.
2) Long time frames
•
장기간 수집된 데이터이기 때문에 상대적으로 안정적입니다.
또, 다른 이벤트와도 연관지어서 분석이 가능해요.
•
단, 상대적으로 오래 걸리는 단점이 있습니다.
위 두 가지 방법 모두 장단점이 있습니다. 때문에, 프로덕트 분석에 Time frame을 활용할 때에는
프로덕트가 어떤 특성을 갖는지를 고려해서 “데이터가 안정되는 최소한의 기간”을 파악해두는 것이 필요합니다.
2. Per-User and Per-Visit Rates : 유저 기준 및 방문 기준으로 맥락 발견하기
Per-User rates는 사용자별로 해당 지표를 추적하는 것입니다.
이때 코호트가 자주 사용됩니다. 코호트란, “특정한 특성을 공유하는 사용자 그룹”입니다.
(데이터 분석에 관심을 갖다보면 한 번쯤은 들어보는 개념이지요.)
코호트를 어떻게 설정할 수 있고, 어떻게 활용하면 될까요?
아래와 같이 예시를 만들어 보았습니다.
•
ex.
◦
11월에 넷플릭스에 회원가입한 집단 : A
◦
12월에 넷플릭스에 회원가입한 집단 : B
◦
A 집단 중 콘텐츠를 5개 이상 시청 완료한 사용자의 비율 : a
◦
B 집단 중 콘텐츠를 5개 이상 시청 완료한 사용자의 비율 : b
a와 b가 크게 차이가 났거나, 혹은 비슷하게 나타났다면 그 이유, “WHY”를 찾아보아야 합니다.
그래야 맥락을 정확하게 이해하고 인사이트를 얻어 액션에 옮길 수 있기 때문이지요.
따라서, 리서치가 필요하다는 신호로 활용할 수 있습니다.
한편,Per-Visit Rates 또한 병행하여 활용할 필요가 있습니다. 이벤트마다 유용한 관점이 다 다르기 때문인데요.
세션 내에서 여러 번 발생할 가능성이 있는 이벤트들(ex. 페이지 탐색, 도구와의 interaction)은
Per-Visit Rates 관점에서 분석하는 것이 적합합니다.
3. Ratios Between Metrics : 지표 간의 ratio를 활용해 맥락을 더하기
첫번째, 각기 다른 지표A, B의 ratio를 구해서 맥락을 만드는 방법이 있습니다.
예를 들어서, 하나의 웹페이지가 있다고 해봅시다. 그 웹페이지에서 아래 2가지 지표를 추적했어요.
•
ex.
◦
unique page views : unique user당 해당 페이지에서 발생한 페이지 조회수
◦
total page views : 해당 페이지에서 발생한 페이지 조회수
두 지표 간의 ratio를 아래와 같이 구하면,
“한 명의 유저가 해당 페이지를 1 번의 세션동안 총 몇 회 방문했는지” 를 알아낼 수 있습니다.
•
ex.
◦
unique page views / total page views
두번째, 각기 다른 기간을 기준으로 하는 지표A, B의 ratio를 구해서 맥락을 만드는 방법이 있습니다.
이번에는 stickiness ratio를 예시로 들어보겠습니다.
stickiness ratio는 일간 활성 유저 수(DAU)와 월간 활성 유저 수(MAU)를 비교하여 구할 수 있습니다.
그 결과, “일 기준 월간 활성 유저 중 몇 %가 우리의 시스템을 사용했는지”를 파악할 수 있어요.
•
ex.
◦
10% DAU/MAU stickiness ratio
= 일 기준 10% of your monthly active users가 접속했다는 뜻.
마무리하며
.png&blockId=ea2ed5a0-5d84-4392-b3f5-937fc786db8d)
좋은 Product를 만들기 위해, 우리는 UX 개선을 합니다.
이때, 흔히 하는 실수가 있습니다. 단순히 벤치마킹이나 ‘그냥 좋을 것 같아서’와 같은 주관적 이유로 프로젝트를 진행하는 것이지요. 이 경우, 애초에 목표가 불분명하기에 임팩트 분석이 어렵습니다. 투입된 리소스에 비해 턱없이 적은 배움을 얻거나, 그마저도 다음 프로젝트에 반영해보기 어려워집니다. 동시에, 실무자들의 motivation은 저하됩니다.
그렇기에 UX 개선 시 목표 정의와 지표 설정 및 분석은 무척 중요합니다. 이번 글은 여러분이 이 중요한 태스크를 수행할 때 참고할 수 있는 가이드가 되기를 바라며 5가지의 원문을 토대로 작성되었습니다. 좀더 내용을 탐색해보고 싶으신 분들은 아래 원문 링크를 활용해보시길 바랍니다.
마지막으로 정리해볼까요?
우선, UX 개선은 WHY에서 출발해야 하며, 그 과정에서 정량/정성 분석으로 얻은 데이터를 활용해야 합니다.
개선 결과의 성공 여부 판단 기준은 유저가 수행하는 태스크의 종류에 따라 다르게 설정되어야 합니다.
개선 결과 분석 시 수집된 지표에 맥락을 더함으로써 유의미한 인사이트를 얻을 수 있습니다.
원문
1. Translating UX Goals into Analytics Measurement Plans (article)
2. Turning Analytics Findings into Usability Studies (video)
3. In Analytics, What do the Numbers Really Mean? (video)
4. How to Interpret User Time Spent and Page Views (video)
5. Vanity Metrics: Add Context to Add Meaning (article)
Discussions
PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.
[디스커션 주제 1] 오늘 내용에서의 질문 혹은 takeaway 한가지씩 공유해주세요!
[디스커션 주제 2]
UX 개선과정 KPI 를 선정하신 경험이 있으신가요? 전반적인 경험이 어떠셨나요?
(혹은 유사한 지표선정 경험)
[디스커션 주제 3] 잘못된 KPI 선정을 해본 혹은 목격한 경험이 있으신가요?
이어지는 글 모아보기
전체 보기
Search
