들어가며
목차
Summary
이번 포스팅에서는, 사용자 경험을 측정하기 위한 6가지 기법과 활용 방식에 대해 배워봅니다. (Not traditionally thought of as part of “main-stream” UX data)
(1) Web Analytics (Click Through Rates, Drop-off Rates, A/B Test)
(2) Card Sorting
(3) Tree-Testing
(4) First Click Testing
(5) Accessibility(접근성) 평가
(6) ROI 평가
1. Web Analytics
1.1 Web Analytics 기초
1.1.1 정의
•
사용자들이 우리 서비스에서 어떤 행동을 하는지 분석하는 것. 보통 GA와 같은 Web Analytics툴로 지표를 쉽게 확인이 가능함.
1.1.2 기본 용어들
•
방문자 수: 서비스 방문자수. 보통, 기간 중 1회만 집계하며(중복 제거), Unique Visitor라는 용어를 쓰기도 함. 기존 방문자와 구분하여 신규 방문자를 따로 보기도 함.
•
방문 수: 서비스 방문이 이루어진 개별 건수. 세션이라고 불리기도 함. 한 명의 방문자는 기간 중 여러 번의 방문을 할 수 있음.
•
페이지뷰: 개별 페이지 조회수. 같은 방문자가 페이지를 새로고침 or 재조회해도 PV에 집계되며, PV는 우리 서비스에서 어떤 페이지가 가장 인기있는지를 나타냄.
•
랜딩페이지: 서비스에서 최초로 방문하는 페이지. 대부분 홈 화면이지만, 검색 또는 북마크를 통해 들어오는 경우 하위 페이지일 수 있음.
•
Exit 페이지: 방문자가 방문한 마지막 페이지.
•
Bounce 비율: 서비스에서 한 페이지만 조회하고 이탈한 방문 비율. 서비스에 대한 참여도(engagement) 부족을 뜻하기도 하나, 원하는 것을 한 페이지만에 찾아냈다는 뜻일 수도 있음.
•
Exit 비율: 해당 페이지에서 서비스를 이탈한 방문자 비율. Exit Rate은 개별 페이지 단위이고, Bounce Rate은 전체 서비스 단위임.
•
전환율: 단순 방문자에서 특정 액션을 한 방문자로 전환된 비율(구매, 가입, 계좌개설 등)
1.1.3 활용
•
서비스에 어떤 변화를 주었을 때, 전후로 지표에 어떤 차이가 있는지 확인하는 것만으로도 많은 것을 알 수 있음.
•
그러나 차이를 해석할 때, 1) 영향을 줄 수 있는 외부 변수가 없었는지 반드시 확인해야 하며, 2) 통계적 유의성을 확인해봐야 함
•
예를 들어, 변동 전후로 2주간 PV 변화를 분석한다고 할 때, Week1의 요일별 PV 숫자와 Week2의 요일별 PV 숫자를 가지고 대응 표본 t-test(paired t-test)를 통해 차이가 통계적으로 유의미한지 알 수 있음
PV 변화
1.2. Click Through Rates (CTR)
1.2.1 정의
•
특정 버튼이나 링크가 노출된 횟수 대비 실제로 클릭한 횟수를 분석하는 것 (링크가 100회 노출되고, 1회 클릭됐다면 CTR은 1%임)
1.2.2 활용
•
어떤 버튼이나 링크가 더 효과가 있는지 측정할 때 사용함
•
보통 CTR을 비율로 계산해서 분석하기 쉬운데, 통계적 유의성을 비교하기 위해서는 raw data를 활용해야 함. 서로 다른 버튼의 노출 횟수와 클릭 횟수를 가지고, 이 수치가 유의미하게 다른지 카이제곱검정을 통해 확인함
CTR 비교
1.3 Drop-off Rates
1.3.1 정의
•
특정 액션을 하기 위해 거치는 페이지들에서의(a sequence of pages) 단계별 이탈률을 분석하는 것
표 1
표 2
•
처음 시작했을 때 유저 수 대비 각 단계에 남은 유저 수의 비율을 먼저 계산하고(표1), 이전 단계 대비 비율이 얼마나 떨어졌는지 계산함(표2)
1.3.2. 활용
•
서비스의 정확히 어느 부분에 사용성 문제가 있는지 확인할 때 사용함
•
가장 이탈률이 높은 페이지에서 정확히 어떤 요소가 이탈률을 높였는지 확인하고, redesign을 수행하는 것이 좋음.
1.4 A/B Test
1.4.1 정의
•
특정 페이지나 컴포넌트에 대한 서로 다른 2개의 디자인을 랜덤으로 제공하고, 결과를 분석하는 것
유의사항1.4.2 활용
•
서비스의 어떤 요소가 효과가 있고, 없는지에 대한 인사이트를 제공함
•
아마존에서는 서비스에 변화를 줄 때, A/B testing을 주로 이용함
1.4.3 TIPS
A안/B안을 제공할 유저군을 나눌 때, 반드시 랜덤으로 나눌 것
처음에는 버튼 문구처럼 작은 것부터 테스트 해볼 것
•
페이지 디자인 전체를 테스트하게 되면 결과 해석이 어려워짐 (왜 이 디자인이 더 효과적이었는지 해석이 어려움)
통계적으로 유의성을 검증할 것
테스트는 애자일하게 진행할 것
•
확신이 드는 Winning version이 있다면, 빠르게 적용하고 바로 다음 테스트로 넘어갈 것
힘 있는 사람의 주장(HIPPO) 대신 데이터를 믿을 것
•
A/B 테스트 결과가 때로는 신기할 수도 있고, 직관적으로 생각한 것과는 다를 수 있음
•
UX Researcher라면 A/B 테스트에 더해서, 왜 이런 결과가 나왔는지 서베이 등 다른 방법을 이용해서 원인을 파악해볼 수도 있음
2. Card Sorting Data
2.1 정의
•
서비스의 IA(Information Architecture)를 결정할 때 주로 사용됨(아이템들을 그룹핑해야 하는 경우)
•
Open card-sorts: 참가자들에게 카드(아이템)를 제공하고, 직접 그룹핑을 하게 하는 형태
•
Closed card-sorts: 참가자들에게 카드(아이템)와 함께 그룹목록도 제공하고, 그룹핑을 하게 하는 형태
•
책에 따르면, 카드소팅에는 보통 15명 정도가 참가자 숫자로 적정하다고 함.
2.2 Open Card-Sort 분석과 활용
•
먼저, 참가자들이 느끼는 각 카드 간의 거리를 점수로 작성하게 함(두 개의 카드가 같은 그룹으로 생각되면 0점, 서로 다른 그룹으로 생각되면 1점)
•
모든 참가자들이 작성한 점수를 합산함. 합산 점수가 높을수록, 카드 간의 거리는 멀다고 할 수 있음
점수표
•
이렇게 작성한 점수표는 계층적 군집분석과 다차원 척도 분석으로 시각화 및 분석할 수 있음 (다양한 통계분석 툴을 활용해 두 가지 방법을 실행해 볼 수 있음)
2.2.1 계층적 군집 분석(Hierarchical Cluster Analysis)
•
계층적 군집분석은 참가자들이 가장 유사하다고 인지한 카드들을 묶은 형태로 트리 다이어그램을 그리는 것임
트리 다이어그램
•
가장 먼저 묶인 카드들의 유사성이 가장 높다고 볼 수 있음(표에서는 peaches & oranges)
•
이 트리 다이어그램을 수직으로 슬라이스하여, 클러스터로 묶을 수 있음(슬라이스를 하는 구간은 정해진 룰이 없으며, 보통 참가자들이 만든 그룹 갯수의 평균 값과 유사한 정도에서 슬라이스함)
2.2.2 다차원 척도 분석(Multidimensional Scaling)
•
다차원 척도 분석은 카드 간의 거리로 맵을 만드는 것임
MDS Map
•
맵에서 거리가 가까운 것끼리 클러스터로 만들 수 있으며, 특히 아웃라이어가 어떤 카드인지 발견하기 쉽다는 장점이 있음. 아웃라이어인 경우는 1) 실제로 다른 카드들과 차이가 크기 때문일 수도 있고, 2) 2개 이상의 그룹에 속하기 때문일 수도 있음
2.3 Closed Card-Sort의 분석과 활용
•
보통 Open Card-Sort보다 적게 쓰이며, Open Card-Sort를 통해 그룹핑 아이디어를 얻은 후 이를 가지고 Closed Card-Sort로 넘어가는 경우가 많음.
Closed Card-Sort 결과
•
하나의 그룹핑 아이디어(Framework)로, 3개의 카테고리를 주고 참가자들에게 10개의 카드를 소팅하게 함 → 이 때, 각 카드별로 어떤 카테고리에 속한다고 참가자가 선택했는지 %를 알 수 있음 → 여기서 가장 높은 %를 Max, 2번째로 높은 %를 2nd Place에 쓴 뒤 %의 차이(Difference)를 구한 뒤, Difference의 평균을 구함 → 이 값은 이 Framework에 대한 참가자의 의견 합치 수준을 나타내는 척도라고 볼 수 있음(높을수록 의견일치)
•
각 Framework간 서로 다른 Difference 평균값을 비교해보고, 가장 높은 척도의 Framework가 무엇인지 알 수 있음
3. Tree Testing
3.1 정의
•
서비스의 IA(메뉴트리)를 주고, 참가자가 특정 태스크를 수행할 수 있는 메뉴를 찾아보게 한 뒤 결과를 분석하는 것
Tree Testing
•
참가자는 메뉴/서브메뉴를 클릭해서 이동하면서 적절한 메뉴에서 '여기서 할래요(I'd find it here)' 버튼을 클릭하게 됨
•
메뉴트리를 이동하다 언제든지 뒤로가기 할 수 있음
3.2 분석과 활용
•
어떤 IA(메뉴 시스템)가 더 효율적인지 분석할 때 사용함
•
주요 지표
◦
태스크 성공률
지정된 태스크 성공 지점까지 도달하는 비율
◦
Directness
메뉴트리를 이동하다가 뒤로가기를 하지 않는 참가자의 비율 (참가자가 자신의 선택에 얼마나 확신을 가지고 있는지에 대한 척도로 쓰일 수 있음)
◦
소요 시간
참가자가 태스크를 완료하기까지 걸리는 평균 시간
◦
책에 따르면, 98개의 Tree testing 사례를 분석했을 때, 태스크 성공률의 평균은 60%였음(중간값은 62%)
◦
따라서 40% 미만의 태스크 성공률은 낮음(poor), 40%-60%는 보통(fair), 61%-80%는 좋음(good), 81%-90%는 매우 좋음(very good), 90% 이상은 완벽함(excellent)으로 해석할 수 있다고 봄
4. First Click Testing
4.1 정의
•
참가자들에게 서비스 이미지(서비스 스크린샷, 디자인 시안, 프로토타입 등)를 주고, 태스크를 수행해보게 시킨 다음 유저들이 가장 먼저 클릭한 영역이 어디인지를 확인하여 분석하는 것
•
Tree testing은 IA(메뉴트리)가 제공되고, 참가자가 끝까지 태스크를 수행하게 한 뒤 태스크 성공률을 분석하지만, First Click Testing은 서비스 이미지(화면)을 제공하고, First Click을 어떻게 했는지 분석한다는 점에서 차이가 있음
4.2 분석과 활용
•
유저들이 주요 태스크를 수행하는 데 혼란을 주지 않도록 페이지가 잘 디자인되었는지 점검할 때 사용함
•
책에 따르면, First Click이 올바른 경우, 태스크 자체를 올바르게 완수할 확률이 2~3배가량 높아진다고 함
•
주요 지표
◦
분산도
First Clicks가 분산되어 있는지, 밀집되어 있는지를 확인 (분산도가 높을수록 유저의 혼란이 큰 것으로 해석할 수 있음)
◦
성공률
올바른 영역을 클릭한 사람의 비율을 확인
◦
소요 시간
클릭하는 데까지 걸린 평균 시간을 확인 (시간이 짧을수록 유저가 확신을 가지고 클릭했다고 해석할 수 있음)
5. Accessibility Metrics (접근성 척도)
5.1 정의
•
장애(disabilities)를 가진 사용자도 서비스를 잘 이용할 수 있는지 분석하는 것
5.2 분석과 활용
•
Accessibility(접근성)란 특정 그룹의 유저들을 대상으로 한 사용성이라고 할 수 있는데, 이러한 관점에서는 일반적인 사용성 테스트를 서로 다른 장애를 가진 그룹의 유저들이 수행한 결과로 접근성을 측정할 수 있음.
닐슨의 4가지 사용성 척도(성공률, 소요시간, 오류, 주관적 평가)를 시각 장애 유저그룹에게 테스트한 결과
•
또는, WCAG라는 웹 접근성 가이드라인을 이용하여 서비스 내 얼마나 많은 페이지가 이 가이드라인에 따라 오류가 있는지 확인해볼 수도 있음 (이 때, 자동화된 체킹 툴도 이용 가능)
6. Return-On-Investment Metrics (ROI 척도)
6.1 정의
•
사용성 개선이 실제 재무적 성과(매출 증대, 생산성 증대, CS 비용 감소)를 가져왔는지 분석하는 것
내부 ROI
외부 ROI
6.2 분석과 활용
•
개선할 수 있는 정량적 척도를 선정하고, 이를 금액으로 환산해 보는 방식
•
4,000시간을 절약해준 토스 디자인 시스템 (2:42부터)
•
사용성 개선의 ROI를 분석하는 것은 프로덕트 사용자가 내부 직원일 때 조금 더 직관적임(직원들이 태스크를 수행하는 데 비용이 얼마나 줄었는지, 또는 error rates가 감소했을 때 정확히 얼마를 save할 수 있는지에 대한 정보에 접근하기 쉽기 때문)
•
반면, 프로덕트 사용자가 외부 고객인 경우에는 태스크 성공률이나 전반적 만족도, CS 감소 등을 통해 간접적으로 추정할 수 밖에 없음
Discussions
PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.
Web Analytics 관련해서, 요즘 어떤 지표를 요즘 많이 보고 계신가요? (ㅎㅎㅎㅎ)
Card Sorting Data, Tree Testing, First Click Testing 방법을 사용해본 경험이 있으시다면 어떻게 활용하셨나요? 없으시다면 어떻게 적용하고 싶으신가요?
실무 단에서 어떤 ROI 척도를 활용하고 계신가요? 아직 활용하고 계시지 않다면 어떤 영역에 접목하고 싶으신가요?
Editor
서비스 기획자
프로덕트 지표 수립과 측정에 관심이 생겨 공부하고 있습니다. 새로운 것을 배우고, 익혀서 할 수 있는 일의 범위를 넓히는 것을 좋아합니다.
이어지는 글 모아보기
전체 보기
Search
.png&blockId=187f136b-17e0-41c1-a1c5-d0659000409c)