6주차 - 유저 행동을 측정하는 4가지 주요 개념과 측정 방법

두 가지 연구가 있습니다

화면을 통해 실험함.

Measure

Summary and Recommendation

평가

자주 벤치마킹하라

다른 산업군에서 best practice를 찾아라

정성/정량을 모두 사용하라

문제를 단순화하라

10주차 - Part 2 : 제품 디자인 의사결정 및 벤치마킹에 UX Metric 활용하기

search와 filter로 의사를 찾을 수 있도록 도와라

11.4. Seasonality Decomposition

이번 포스팅에서는, 사용자 경험을 측정하기 위한 6가지 기법과 활용 방식에 대해 배워봅니다. (Not traditionally thought of as part of “main-stream” UX data)

12주차 - UX 데이터를 활용의 성공을 돕는 10원칙

1. Make the Data Come Alive

우리가 UX Research 로 임팩트를 내기 위해서는 인사이트가 나오는 것에서 그치면 안됩니다. 우리가 해당 데이터에 대해서 체감하는 잠재적인 임팩트와 스토리를 의사결정권자들도 체감할 수 있어야합니다.

본문에서는 도움이 될 몇가지 방안들을 제안합니다.

UX Research 를 할 때 의사결정권자들이 research 에 참여할 수 있는 방안 마련해두기 
(ex: screenshare, visit)

의사결정권자들이 반복적인 유저 행동 패턴을 포착하는 것이 중요합니다.
→ 따라서 한두명의 반응으로 결정을 지정하는 것이 아닌 충분한 모수의 양만큼 함께 확인하기

UX Research 의 결과를 비디오에 담아내기

Key UX Metric 제시하기 (task success, efficiency, satisfaction)
→ UX Metric 들을 ROI 랑 연결짓는 것이 핵심

2. Don’t Wait to be Asked to Measure

필자는 따로 지시가 떨어지기 전에 UX 데이터를 먼저 수집하기 시작한 것이 가장 잘한 것들 중 하나였다고 소개합니다.

12주차 - UX 데이터 활용의 성공을 돕는 10원칙

들어가며

Summary

1. Web Analytics

1.1 Web Analytics 기초

1.1.1 정의

사용자들이 우리 서비스에서 어떤 행동을 하는지 분석하는 것. 보통 GA와 같은 Web Analytics툴로 지표를 쉽게 확인이 가능함. 

1.1.2 기본 용어들

방문자 수: 서비스 방문자수. 보통, 기간 중 1회만 집계하며(중복 제거), Unique Visitor라는 용어를 쓰기도 함. 기존 방문자와 구분하여 신규 방문자를 따로 보기도 함.

방문 수: 서비스 방문이 이루어진 개별 건수. 세션이라고 불리기도 함. 한 명의 방문자는 기간 중 여러 번의 방문을 할 수 있음.

페이지뷰: 개별 페이지 조회수. 같은 방문자가 페이지를 새로고침 or 재조회해도 PV에 집계되며, PV는 우리 서비스에서 어떤 페이지가 가장 인기있는지를 나타냄.

9주차 - UX를 측정하기 위한 다양한 기법들

랜딩페이지: 서비스에서 최초로 방문하는 페이지. 대부분 홈 화면이지만, 검색 또는 북마크를 통해 들어오는 경우 하위 페이지일 수 있음.

이번 세션에서는 다음 내용을 다룰 예정입니다.

0. 들어가며

해당 아티클을 통해 아래와 같은 정보를 얻어가실 수 있어요.

1. Performance Metrics (성능 지표) 챕터

1.0. Intro

기술을 사용하는 그 누구든, 목표를 달성하기 위해서는 특정 종류의 인터페이스와 상호작용하게 된다. 이런 인터페이스와 상호작용하게 되는 그 결과로, Performance Metrics가 파생된다. 

그 어떠한 사용자 행동도 특정한 방식을 통해 측정이 가능하다. 다만, Performance Metrics의 경우 사용자 행동에만 의존하는 것이 아닌, 사용 시나리오 및 태스크에 따라 달라진다. 목표하는 태스크가 없다면 Performance Metrics는 의미를 잃게 된다. 

목표하는 태스크는 사용자에게 우리가 임의로 제공하는 그런 태스크라는 의미는 아니다. 라이브 웹사이트에서, 우리가 의도했던 아니든 사용자들이 하고 싶은 어떤 행동이 태스크가 될 수도 있다. 사용성 테스트에서 직접 원하는 태스크를 만들어낼 수도 있을 것이다.

1.1. 기본기

8주차 - 유저 행동 지표에서 사용성 문제 찾기 | 자기 보고 지표 활용 가이드라인

0. CH3.를 들어가며

목차

Summary

성공적인 Usability Test를 하기 위해서는 데이터 수집 관련 계획을 세워야 합니다.

가장 먼저, 아래의 태스크의 목표를 이해해야 합니다.

다음으로, 아래와 같은 사용자의 목표를 이해해야 합니다.

태스크 및 사용자 목표를 이해한 후 메트릭을 설정하면, 시간과 비용을 절약하고, 제품에 큰 영향을 미칠 수 있습니다.

여기서 고려해야 하는 실용적인 디테일은 다음과 같습니다.

3.1 Test Goals

UX 연구 진행 전, 데이터가 제품 개발 주기 내에서 궁극적으로 어떻게 사용될 것인지를 고려해야 합니다. 기본적으로 Formative Usability Test, Summative Usability Test 두가지 방법이 있습니다.

7주차 - Metric을 고려한 Usability Test 하기

0. 들어가며

이번 세션에서는 다음 내용을 다룰 예정입니다.

거의 모든 업권에서 반복적인 디자인 사이클(Iterative Design Cycle)는 필수적으로 통용되고 있습니다. 이러한 디자인 사이클에서 중요한 절차 중 하나가 사용성에 대한 평가입니다. 그동안 통상적으로 쓰였던 사용성 평가 방법은 유저 인터뷰와 같은 정성적 방법(Qualitative)이지만 최근에는 다양한 정량적 방법(Quantitative) 또한 많이 쓰이고 있습니다.

1. 기간, 연령, 코호트

1-1. 기간

기간이란? 특정 시간 간격을 의미합니다.

1-2. 나이

나이란? 살아온 시간을 의미합니다. 웹 서비스의 관점에서는 ‘사용자가 해당 서비스에서 살아온 기간’을 의미합니다.

1-3. 코호트

코호트란? 같은 기간에 유입된 사용자 그룹을 의미합니다.

이와 유사하게, 웹 서비스에서도 특정 사용자가 다른 사용자와 동시에 서비스에 가입했을 경우, 서비스에 대해 비슷한 경험을 합니다.

1-4. 렉시스 다이어그램(Lexis Diagrams)

1-5. 코호트별 측정(리텐션)

** 서비스를 이용할 수 있는 최대 일수는 13일이며, 모든 사용자는 최소 1일 동안 서비스에 머물렀다고 가정

UserId	유저 진입일 코호트	서비스에 머문 기간
1	1일차	2일
2	1일차	5일
3	1일차	1일
4	2일차	1일
5	2일차	8일
6	2일차	아직 서비스에 머물고 있음(11일)
7	2일차	3일
8	2일차	5일
9	3일차	1일
10	3일차	아직 서비스에 머물고 있음(10일)

코호트별 리텐션 = 코호트별로 서비스를 이용하는 평균 일수 = 코호트 Y가 서비스에 머문 기간 / 코호트 Y의 전체 유저 수

유저 진입일 코호트	리텐션 계산	코호트 리텐션
1일차	(2+5+1)/3	2.6일
2일차	(1+8+11+3+5)/5	5.6일
3일차	(1+10)/2	5.5일

1-6. 기간별 측정(리텐션)

기간별 리텐션 = 사용자가 서비스를 이용한 총기간 Y / 기간 Y 동안의 총 사용자 수

결론적으로, 기간별로 맹목적으로 측정하기 전에, 각 코호트가 어떤 특징을 갖고 있는지 먼저 이해하는 것이 중요합니다.

1-7. 코호트별 측정 vs 기간별 측정

측정 항목	장점	단점
코호트별	- 시간이 지나도 코호트별 유저수는 동일 (가중치를 고려할 필요 X) - 시간 경과에 따른 지표의 변화를 알 수 있음 (서비스가 오래될수록 리텐션이 어떻게 변하는지) - 이해하기 쉬움	- 출시된지 얼마 안 된 서비스의 경우, 측정 항목이 정확하지 않을 수 있음 - 코호트의 세분화 유형에 따라 결과가 달라질 수 있음 (시간뿐만 아니라 organic vs paid, 남성 vs 여성으로 세분화 할 수 있음)
기간별	- 가장 일반적으로 사용됨 - 코호트의 크기가 거의 동일할 때 유용 - 데이터가 적을 때 유용	- 혼동의 여지가 있어 측정 항목을 무의미하게 만들 수 있음 - 초기 코호트에 편향되는 경향(시간이 지나면서 리텐션이 증가하는 경우, 아래쪽으로 편향될 수 있음)

1-8. 표준화

유저 진입일 코호트	가중치	기존 코호트 리텐션	가중치가 적용된 코호트 리텐션
1일차	1/3	2.6일(8/3)	8/9
2일차	1/3	5.6일(28/5)	28/15
3일차	1/3	5.5일(11/2)	11/6

총 리텐션 : 8/9+28/15+11/6 = 4.58일

2. 매트릭 개발

2-1. 개념화

개념	설명
획득(Acquisition)	사용자가 웹 서비스에 들어가거나 가입하는 과정
리텐션(Retention)	사용자가 웹 서비스에 얼마나 오래 머무는지(활성 상태를 유지하는지)
참여(Engagement)	사용자가 서비스 내에서 얼마나 상호작용하는지
수익(Revenue)	실제 재화로 환전된 돈 또는 수령액

2-2. 획득(Acquisition)

2-2-1. 획득에 대한 정의

획득의 정의에 대해 한 번 생각해봅시다.

2-2-2. 사용자 유입 경로(User Funnel)

2-2-3. 획득의 측정 항목

측정항목	분류	예시
획득 소스	비율	소스 X에서 유입된 유저수 / 유입된 전체 유저수 ex) 전체 유저수가 40명, 구글을 통해 유입된 유저수가 25명일때, 소스별 유저 비율은 25/40 = 5/8 = 62% - 마케팅 채널을 통해 유입된 유저는 organic 유저와 매우 다르므로, 소스별로 특징을 이해하고 대응하는 것이 필요
인당 획득 비용 (CAC, Cost of Customer Acquisition)	평균/중앙값	유저 획득 비용 / 유입된 전체 유저수
온보딩 완료율	비율	온보딩 완료 = 랜딩 페이지를 방문한 사용자 수
초기 세션 시간	분포	랜딩 페이지의 세션 시간

2-3. 리텐션(Retention)

2-3-1. 평균 서비스 사용 일수

정의하기 쉽고 가장 많이 사용되는 리텐션 측정항목은 평균 서비스 사용 일수입니다.

계산 방법은 앞서 1. 기간, 연령, 코호트 파트에서 설명했던 내용과 동일합니다.

유저 진입일	서비스에 머문 기간	3일 이내 이탈 여부
0일차	1일	O
0일차	5일
0일차	0일	O
0일차	7일
0일차	3일
0일차	20일

2-3-2. 불리언(True/False)

2-3-3. 이탈률(Churn Rate)

2-4. 참여(Engagement)

2-4-1. MAU & DAU

DAU도 마찬가지로, 하루에 서비스를 사용한 전체 사용자 수를 제품의 모든 (활성) 사용자로 나눈 값입니다.

2-4-2. 롤링 매트릭(Rolling Metrics)

2-4-3. Net Promoter Score(NPS)

2-4-3. 그 외

스크롤 깊이를 통해 사용자가 웹 페이지에서 얼마나 멀리 이동했는지 알 수 있습니다.

2-4-3. 능동적 참여 vs 수동적 참여

분류	능동적 참여	수동적 참여
개념	능동적으로 서비스 내에서 활동하는 것	상호 작용하지 않고 콘텐츠를 보는 것
예시	다른 유저에게 메시지를 보내거나 제품 리뷰를 작성함	다른 유저의 사진을 보거나 상품평을 읽음
영향	콘텐츠를 만들고 제품을 개선하는 데 도움	커뮤니티와 콘텐츠에 미치는 영향을 최소화

유저가 수동적으로 참여하고 있는지 여부를 항상 알 수는 없기 때문에 수동적 참여에 대한 매트릭을 찾는 것이 더 어려운 경우가 많습니다.

2-5. 수익(Revenue)

수익 매트릭은 유저의 구매 행동을 이해하고 서비스의 수익성을 파악하는 데 유용합니다.

2-5-1. ARPU(전체 사용자당 평균 수익)

ARPU는 총 수익을 전체 사용자로 나눈 값입니다.

2-5-2. 첫 구매까지의 시간

2-5-3. 구매 전환율

2-5-4. LTV(고객 생애 가치)

LTV는 고객이 우리 서비스를 이용하는 총 기간 내에 가져다주는 순이익을 말합니다.

LTV는 출시된 지 오래된 서비스일 때 측정하는 것이 유의미합니다.

2-5-5. 진행 비율

구매 횟수 (n번 이상)	총 유저수	진행 비율
0	10,000
1	7,800	7,800/10,000 = 0.78
2	3,560	3,560/7,800 = 0.46
3	2,875	2,875/3,560 = 0.81
4	2,000	2,000/2,875 = 0.70
5	1,876	1,876/2,000 = 0.84
6	1,450	1,450/1,876 = 0.77
7	1,000	1,000/1,450 = 0.69
8	543	543/1,000 = 0.54
9	500	500/543 = 0.92
10	450	450/500 = 0.90
11	425	425/450 = 0.94
11+	410	410/425 = 0.96

1번에서 2번으로, 7번에서 8번으로 구매 진행이 감소하는 것을 확인할 수 있습니다.

원문 5. Retained? Metric Creation and Interpretation 1. 5.1 Period, Age, and Cohort 2. 5.2 Metric Development 3. 5.3 Actionable Insights

Discussions

PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.

[User Funnel] “방문 - 가입 - 장바구니 - 결제”와 같이 목표 액션까지 단계가 일관된 경우가 있겠지만, 경로가 너무 많거나 단계가 일관되지 않은 경우가 있었나요? (e.g. 유저들이 각 단계마다 다양한 진입점에서 전환, 주요 랜딩 페이지에 홈에서도 접근, 배너에서도 접근, 푸시에서도 접근 가능)
있었다면, 어떻게 분석하여 개선점을 찾으셨나요?

[Engagement] 사용자의 상호작용이 없는 콘텐츠나 화면 노출의 경우 Passive Engagement 라고 볼 수 있다고 합니다. Passive Engagement에 대한 해석 때문에 어려웠던 경험이 있으신가요? 어떻게 각자 해석하시는지도 궁금합니다. (아래 책 설명 발췌)

[Metric Development] 담당하고 계신 서비스에서 최근 가장 중요하게 보고 있는 지표는 무엇인가요?  

Editor

이어지는 글 모아보기

6주차 - 유저 행동을 측정하는 4가지 주요 개념과 측정 방법

1. Intro: Quantitative vs. Qualitative UT / UX Research

The Iterative Design Cycle

가장 큰 차이점은 사용하는 데이터의 유형입니다. qual data는 주로 사용자가 서비스에 대해 느끼는 직접적인 평가(direct assessment of the usability of a system)가 기록됩니다. 반면 quant data는 사용자가 직접적으로 제공하진 않지만, 지표를 통해 알 수 있는 간접적인 정보들입니다.(e.g., task-completion times, success rates, number of errors, satisfaction ratings)

Qual Research VS Quant Research

이 외 주요한 차이점은 다음과 같습니다.

각 단계별로 하나의 방법론만을 사용하는 것은 아니지만, 적절하다고 여겨지는 방법론은 존재합니다. 예를 들어 Step 2(redesign)에서는 보통 qual research가 더욱 적절한 것으로 알려져 있습니다. (반대로 재무적 성과를 평가할 때는 quant research 방법론이 더욱 적합할 것이고요.)

When to Use Qual vs. Quant

실제로 5명 이상의 사용자를 qual research하면 85% 이상의 사용성 문제를 발견할 수 있다고 합니다.(지금 회사의 Founder/CEO 의견은 5명 이상으로도 충분하나, 3~40명 정도는 만나봐야 명확해진다고 하더라고요.)

1주차 - Quant In UX

0. 들어가며

3장 "The Coveted Goalpost: How to Change Human Behavior"은 아래 내용을 다룹니다

2장 "Building a Theory of the Social Universe"은 아래 내용을 다룹니다

2장에서 유저를 이해하기 위해서 이론이 왜 중요하고, 어떻게 그 이론을 만들 수 있는지 설명했다면, 3장에서는 인간의 행동 변화에 대한 이론들을 설명하고, 웹 프로덕트에 적용할 수 있는 예시들을 살펴봅니다.

1. Actionable Insight 이해하기

What is the desired change that we seek, and how do we find the best moves to test to get there?

우리는 원천 데이터에서 이론들을 이끌어 내야 합니다. 하지만 이는 쉽지 않습니다. 많은 회사들은 데이터 드리븐 의사결정을 내려야 한다는 것을 알고 있지만, 실행가능한 인사이트를 데이터로부터 이끌어내는 것에 실패하고 종종 직관에 따라 결정을 내리기도 합니다. Actionable Insight의 네 가지 종류

이 중에서 Causal Insight가 유저 행동 변화를 이끌어내는 데 가장 중요하다.

2. 행동 변화를 이해하고 측정하기

The first step in understanding what causes human behavior change is understanding “behavior”.

5주차 - 유저 행동 변화를 이끌어내려면 알아야 할 이론들

0. 들어가며

위 질문에 대답을 했다면, 이제 2가지 주의사항을 짚고 넘어가야 합니다.

This book is a practitioner’s guide to generating actionable insights from consumer data.

Product Analytics는 유저 행동 데이터를 활용하여, 변화를 만들고, 나아가 주요 지표의 상승을 목표로 삼는 책입니다. 초반부에서는 기술 부분에 집중하기보다는, 각 기술 활용에 도움이 되는 관점과 방법론에 대한 내용이 담겨져 있습니다. 특히 1장부터 3장까지는 유저 행동과 이를 둘러싼 현상을 모델링하기 위해서 다양한 정성적 방법론을 소개합니다.

2장에서는 유저를 이해하기 위해서, 이론이 왜 중요한지 그리고 그 이론을 어떻게 만들 수 있는지 설명합니다. 이를 위해 여러 과학적 방법론들도 소개합니다.

•

모델(이론)을 만들고 검증하는 것 “Building and validating a conceptual model”

4주차. 프로덕트 분석할 때 이론이 중요한 이유

“잘 만든 Product에는 잘 만든 지표가 있다.”

1. UX 목표를 지표 설정에 반영하기

목표를 실제로 달성하려면 항상 "WHY"를 질문해야 합니다.

지표 설계의 목적은 무엇인가? 왜 이걸 해야 하는가?

지표를 확인하면 그로부터 액션플랜을 세울 수 있는가?

2주차 - UX 개선 결과는 어떤 지표로 측정해야 할까요?

1. Five Information Architecture Warning Signs in Your Analytics Reports

About this Content Information Architecture(IA)는 정보를 전달하는 구조를 의미합니다. 그런데 우리 IA는 과연 좋은 IA인 걸까요? 5가지 지표를 통해서 스스로 진단해볼 수 있는 방법을 소개합니다.

들어가며

Information Architecture(IA)란, 한정된 지면을 갖는 웹 또는 앱상에서 가장 중요한 정보를 가장 직관적인 형식으로 전달하는 디스플레이 구조를 의미함

IA는 아주 옛날에 소개된 개념이라 최근 들어 경시되는 경향이 있지만(”Nobody: 어차피 유저들 그냥 검색하지 않아?”), UX 및 비즈니스 관점에서 여전히 몹시 중요함

IA category가 잘 짜여졌는지 점검하기 위해서는 Analytics Data를 분석해 봐야 하며, 아래 대표적으로 점검해 보면 좋을 5가지 Analytics Metrics를 소개함

1.1. Low Traffic to Categories

Traffic이란?

특정 페이지군의 조회수 합계 vs. 개별 페이지의 조회수, unique visit vs. total visit 등 다양하게 정의할 수 있음

Traffic은 IA category가 유저 관점에서 얼마나 흥미롭거나 유용한지 나타낼 수 있는 가장 대표적인 지표임

IA 개선을 위한 시사점 도출시 고려 사항

상대적 traffic 규모: Category별 평균 Traffic 수준 대비 개별 category의 traffic이 얼마나 높거나 낮은지 관점에서 지표를 해석해야 함

Traffic의 차이를 유발하는 구조적 요인: 특정 category가 IA상 더 눈에 잘 보이게 표시되어 있거나, 반복적으로 등장하거나, 유입 경로가 다양할 수 있음; 이 경우 traffic이 더 높은 건 어찌 보면 당연하기에 해석시 유의해야 함