12주차 - UX 데이터 활용의 성공을 돕는 10원칙

두 가지 연구가 있습니다

화면을 통해 실험함.

Measure

Summary and Recommendation

평가

자주 벤치마킹하라

다른 산업군에서 best practice를 찾아라

정성/정량을 모두 사용하라

문제를 단순화하라

10주차 - Part 2 : 제품 디자인 의사결정 및 벤치마킹에 UX Metric 활용하기

search와 filter로 의사를 찾을 수 있도록 도와라

11.4. Seasonality Decomposition

이번 포스팅에서는, 사용자 경험을 측정하기 위한 6가지 기법과 활용 방식에 대해 배워봅니다. (Not traditionally thought of as part of “main-stream” UX data)

12주차 - UX 데이터를 활용의 성공을 돕는 10원칙

1. Make the Data Come Alive

본문에서는 도움이 될 몇가지 방안들을 제안합니다.

UX Research 를 할 때 의사결정권자들이 research 에 참여할 수 있는 방안 마련해두기 
(ex: screenshare, visit)

의사결정권자들이 반복적인 유저 행동 패턴을 포착하는 것이 중요합니다.
→ 따라서 한두명의 반응으로 결정을 지정하는 것이 아닌 충분한 모수의 양만큼 함께 확인하기

UX Research 의 결과를 비디오에 담아내기

UX Research 의 인사이트로 지정되는 반응을 여러유저에 걸쳐서 영상으로 담아내기

크게 영상의 방향성과 크게 상관이 없는 유머요소 혹은 과장요소들은 넣지 말기

영상을 짧게 유지하기

Key UX Metric 제시하기 (task success, efficiency, satisfaction)
→ UX Metric 들을 ROI 랑 연결짓는 것이 핵심

2. Don’t Wait to be Asked to Measure

필자는 따로 지시가 떨어지기 전에 UX 데이터를 먼저 수집하기 시작한 것이 가장 잘한 것들 중 하나였다고 소개합니다.

•

정성적 자료들 기반의 발견들이 내부적으로 신뢰가 높지 않았다는 부분

•

디자인 선호도/경쟁 차원등의 질문은 정량적 데이터로만 답변이 될 수 있는 부분이 있었다고 고백.

Start 작고 다루기 쉬운 UX Metric 으로 시작하기

Expand 제품에 대한 이해를 더해줄 수 있는 metric 들 측정시작 (ex : efficiency metrics - completion times, lostness // self-reported metrics - usefulness awareness gaps or expectations)

Apply 사용해본 metric 들의 장단점을 파악하고 필요없는 metric 들은 제거하거나 metric 들을 하나로 합치는 것도 가능

3. Measurement is Less Expensive than you Think

UX metric 측정들을 쉽고 빠르고 적은 비용으로 가능해주게 하는 도구들이 많이 나왔습니다.

아래는 본문에서 제시해주는 툴들의 예시입니다.

Quantitative Data

Survey

UX Research

4. Plan Early

UX Research 를 실제로 하기 전에 어떤 UX metric 들을 볼 것 인지 정하는 것이 꼭 필요하다고 강조.

어떤 UX Metric 들을 볼지

어떻게 성공여부를 정의할 것인지 그리고 언제 리서치를 종료할 것인지

본문에서 제안하는 도움이 되는 시도

•

리서치 전에 미리 데이터가 어떤 형태로 보여질 것인지 구상해보기

•

Pilot study 도 가능하다면 진행해서 사전에 방지할 수 있는 설계이슈 미리 해소하기

5. Benchmark Your Products

필자는 market research 관점에서 경쟁사들과의 비교를 통한 벤치마크 확인이 중요한만큼 ux 벤치마킹도 중요하다고 강조합니다.

Effectiveness, Efficiency, and Satisfaction 위주로 데이터 수집

데이터 수집을 위한 계획 세우기 (데이터 수집주기, 데이터 분석, 공유)

벤치마크에 고려할 페르소나 설정

6. Explore Your Data

탐색적 분석을 진행함으로서 인사이트 도출하기

단순 통계요약도 도움이 된다

시각화 제공하기

UX 데이터가 유저경험의 한 조각일 뿐이라는 것 인지하기 

다른 소스의 데이터들도 활용함으로서 인사이트 검증하기

7. Speak the Language of Business

Revenue (매출) 같은 전사적 주요지표와 결과물을 연결지어서 소통하기

→ Language of Business

ex : 디자인 결과물에 따라 매출의 출렁임 혹은 변화를 관측하고 의사결정권자들에게 설명하기

조직이 집중하고 있는 더 높은 위계의 (더 중요한) 비즈니스 목표와 UX Metric 들을 연결짓는 것이 핵심

8. Show Your Confidence

조직의 움직임을 유도하는 데이터 활용을 하는 사람에게 본인의 결과물에 대한 자신감을 표출하는 것은 굉장히 중요합니다.

하지만 종종 샘플 사이즈의 부족으로 혹은 분산도가 높은 결과물 때문에 자신감을 갖기 어려운 상황도 있습니다.

(근본적인 문제 솔루션은 아니지만)

데이터를 공유할 때 신뢰구간을 보여주는 것 혹은 p-value 를 함께 공유하는 것을 통해 결과물에 대한 신뢰는 높이는 방법들이 있습니다.

9. Don’t Misuse Metrics

Metric 들을 잘못 사용하게 됨으로서 UX program 자체에 대한 신뢰가 깨지거나 잘못된 배움들이 축적될 수 잇습니다.

“잘못사용” 이라는 것에는 아래와 같은 예시들이 있습니다.

•

Metric 이 필요없는 경우에 활용
(ex : 디자인이 빠른 페이스로 변화하고 있는 경우, 0에서 시작해 정성적인 피드백만으로도 충분한 경우)

•

너무 많은 정보공유
(가장 중요한 메세지가 놓쳐지게 된다)

•

Single metric 에 의존성이 너무 높은 경우
(Single metric 이 놓치게 되는 부분을 함께 놓치게 됩니다)

10. Simplify Your Presentation

“All your hard work comes down to the point where you must present results”

Set the stage appropriately

과정을 너무 세부적으로 공유하지는 않기 x 투명성을 위해 엑섹스는 가능하게 하기

긍정적인 부분들로 대화를 이끌어나가기

시각적 자료들을 많이 활용하기

스크린샷

짧은 영상 클립들

주요 데이터들을 한눈에 볼 수 있도록 공유하기

(청중이 비즈니스 결정권자일수록) 세부적인 디테일보다 큰 그림에 발표 초점을 맞추기

UX research 에서 나오는 세부적인 이슈들을 다 공유할 필요는 없습니다.

전문용어 피하기

발표를 통한 하나의 스토리가 나오게 하기

Discussions

PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.

리서치 실패 경험(직접/간접) - 위 내용 기반 무엇이 원인이었는지 공유해주세요 @홍선아 

본인의 리서치 결과물에 자신감이 없을 때 어떻게 극복했나요? 팁을 공유해주세요 @홍선아 

조직이 집중하고 있는 더 높은 위계의 비즈니스 목표 (예를 들면 ‘매출’)와 UX Metric 들을 연결해본 경험이 있으신지 궁금해요! @김가연 

Usability Issue(초기 단계 vs 성숙 단계 다르게 찾을 수 있음)를 어떻게 정의하시나요? @길지홍 

Usability Issue를 어떻게 캐치하는지? @길지홍 

Editor

알렉스 (윤석진) 프로덕트 그로스 분석가

하이라이트 기반 큐레이션 플랫폼 LINER 에서 데이터 드리븐 문화를 책임지고 있습니다. Product-led Growth 분야에 관심이 많습니다.

이어지는 글 모아보기

12주차 - UX 데이터 활용의 성공을 돕는 10원칙

들어가며

Summary

1. Web Analytics

1.1 Web Analytics 기초

1.1.1 정의

사용자들이 우리 서비스에서 어떤 행동을 하는지 분석하는 것. 보통 GA와 같은 Web Analytics툴로 지표를 쉽게 확인이 가능함. 

1.1.2 기본 용어들

방문자 수: 서비스 방문자수. 보통, 기간 중 1회만 집계하며(중복 제거), Unique Visitor라는 용어를 쓰기도 함. 기존 방문자와 구분하여 신규 방문자를 따로 보기도 함.

방문 수: 서비스 방문이 이루어진 개별 건수. 세션이라고 불리기도 함. 한 명의 방문자는 기간 중 여러 번의 방문을 할 수 있음.

페이지뷰: 개별 페이지 조회수. 같은 방문자가 페이지를 새로고침 or 재조회해도 PV에 집계되며, PV는 우리 서비스에서 어떤 페이지가 가장 인기있는지를 나타냄.

9주차 - UX를 측정하기 위한 다양한 기법들

랜딩페이지: 서비스에서 최초로 방문하는 페이지. 대부분 홈 화면이지만, 검색 또는 북마크를 통해 들어오는 경우 하위 페이지일 수 있음.

이번 세션에서는 다음 내용을 다룰 예정입니다.

0. 들어가며

해당 아티클을 통해 아래와 같은 정보를 얻어가실 수 있어요.

1. Performance Metrics (성능 지표) 챕터

1.0. Intro

기술을 사용하는 그 누구든, 목표를 달성하기 위해서는 특정 종류의 인터페이스와 상호작용하게 된다. 이런 인터페이스와 상호작용하게 되는 그 결과로, Performance Metrics가 파생된다. 

그 어떠한 사용자 행동도 특정한 방식을 통해 측정이 가능하다. 다만, Performance Metrics의 경우 사용자 행동에만 의존하는 것이 아닌, 사용 시나리오 및 태스크에 따라 달라진다. 목표하는 태스크가 없다면 Performance Metrics는 의미를 잃게 된다. 

목표하는 태스크는 사용자에게 우리가 임의로 제공하는 그런 태스크라는 의미는 아니다. 라이브 웹사이트에서, 우리가 의도했던 아니든 사용자들이 하고 싶은 어떤 행동이 태스크가 될 수도 있다. 사용성 테스트에서 직접 원하는 태스크를 만들어낼 수도 있을 것이다.

1.1. 기본기

8주차 - 유저 행동 지표에서 사용성 문제 찾기 | 자기 보고 지표 활용 가이드라인

0. CH3.를 들어가며

목차

Summary

성공적인 Usability Test를 하기 위해서는 데이터 수집 관련 계획을 세워야 합니다.

가장 먼저, 아래의 태스크의 목표를 이해해야 합니다.

다음으로, 아래와 같은 사용자의 목표를 이해해야 합니다.

태스크 및 사용자 목표를 이해한 후 메트릭을 설정하면, 시간과 비용을 절약하고, 제품에 큰 영향을 미칠 수 있습니다.

여기서 고려해야 하는 실용적인 디테일은 다음과 같습니다.

3.1 Test Goals

UX 연구 진행 전, 데이터가 제품 개발 주기 내에서 궁극적으로 어떻게 사용될 것인지를 고려해야 합니다. 기본적으로 Formative Usability Test, Summative Usability Test 두가지 방법이 있습니다.

7주차 - Metric을 고려한 Usability Test 하기

0. 들어가며

이번 세션에서는 다음 내용을 다룰 예정입니다.

3장 "The Coveted Goalpost: How to Change Human Behavior"은 아래 내용을 다룹니다

데이터 분석가 및 데이터 사이언티스트, 경영진들은 효과적으로 핵심 성과 지표(KPI)를 측정하는 것이 중요합니다. 지표가 없다면 서비스에서 어떤 일이 일어나고 있는지 측정할 수 없으며, 최적의 결과가 나오지 않습니다.

따라서, 이번 글에서는 행동 데이터를 직관적으로 이해할 수 있는 매트릭 개발에 대한 기본적인 내용들을 다룰 예정입니다. 지표를 개선하고 더 잘 이해하기 위한 방법들에 대해 알아봅시다.

1. 기간, 연령, 코호트

매트릭을 개발할 때에는 시간적 요소를 고려해야합니다. 모든 지표에는 시간적 요소가 있으며, 이 시간적 요소에 따라 ‘모집단’을 정의하는 법을 알아야 합니다.

인구 통계학은 인구에 대한 통계적 연구이며, 이 개념은 웹 서비스에서 유저를 집단별로 나눌 때 매우 유용합니다. 인구 통계의 핵심은 기간, 연령, 그리고 코호트라고 할 수 있습니다.

매트릭은 시간이 지날수록, 유저가 변화함에 따라 급격하게 변하기 때문에, ‘시간’이라는 요소는 유용한 지표를 구축하는 데 있어 중요합니다. 따라서, ‘시간’과 ‘사건’ 사이의 관계를 이해한다면, 더 나은 매트릭를 개발할 수 있습니다. 기간, 연령, 그리고 코호트는 이러한 관계를 다루는 개념입니다.

6주차 - 유저 행동을 측정하는 4가지 주요 개념과 측정 방법

0. 들어가며

거의 모든 업권에서 반복적인 디자인 사이클(Iterative Design Cycle)는 필수적으로 통용되고 있습니다. 이러한 디자인 사이클에서 중요한 절차 중 하나가 사용성에 대한 평가입니다. 그동안 통상적으로 쓰였던 사용성 평가 방법은 유저 인터뷰와 같은 정성적 방법(Qualitative)이지만 최근에는 다양한 정량적 방법(Quantitative) 또한 많이 쓰이고 있습니다.

2장에서 유저를 이해하기 위해서 이론이 왜 중요하고, 어떻게 그 이론을 만들 수 있는지 설명했다면, 3장에서는 인간의 행동 변화에 대한 이론들을 설명하고, 웹 프로덕트에 적용할 수 있는 예시들을 살펴봅니다.

1. Actionable Insight 이해하기

What is the desired change that we seek, and how do we find the best moves to test to get there?

우리는 원천 데이터에서 이론들을 이끌어 내야 합니다. 하지만 이는 쉽지 않습니다. 많은 회사들은 데이터 드리븐 의사결정을 내려야 한다는 것을 알고 있지만, 실행가능한 인사이트를 데이터로부터 이끌어내는 것에 실패하고 종종 직관에 따라 결정을 내리기도 합니다. Actionable Insight의 네 가지 종류

이 중에서 Causal Insight가 유저 행동 변화를 이끌어내는 데 가장 중요하다.

2. 행동 변화를 이해하고 측정하기

The first step in understanding what causes human behavior change is understanding “behavior”.

5주차 - 유저 행동 변화를 이끌어내려면 알아야 할 이론들

1. Intro: Quantitative vs. Qualitative UT / UX Research

The Iterative Design Cycle

가장 큰 차이점은 사용하는 데이터의 유형입니다. qual data는 주로 사용자가 서비스에 대해 느끼는 직접적인 평가(direct assessment of the usability of a system)가 기록됩니다. 반면 quant data는 사용자가 직접적으로 제공하진 않지만, 지표를 통해 알 수 있는 간접적인 정보들입니다.(e.g., task-completion times, success rates, number of errors, satisfaction ratings)

Qual Research VS Quant Research

이 외 주요한 차이점은 다음과 같습니다.

각 단계별로 하나의 방법론만을 사용하는 것은 아니지만, 적절하다고 여겨지는 방법론은 존재합니다. 예를 들어 Step 2(redesign)에서는 보통 qual research가 더욱 적절한 것으로 알려져 있습니다. (반대로 재무적 성과를 평가할 때는 quant research 방법론이 더욱 적합할 것이고요.)

When to Use Qual vs. Quant

실제로 5명 이상의 사용자를 qual research하면 85% 이상의 사용성 문제를 발견할 수 있다고 합니다.(지금 회사의 Founder/CEO 의견은 5명 이상으로도 충분하나, 3~40명 정도는 만나봐야 명확해진다고 하더라고요.)

1주차 - Quant In UX

0. 들어가며

2장 "Building a Theory of the Social Universe"은 아래 내용을 다룹니다

위 질문에 대답을 했다면, 이제 2가지 주의사항을 짚고 넘어가야 합니다.

This book is a practitioner’s guide to generating actionable insights from consumer data.

Product Analytics는 유저 행동 데이터를 활용하여, 변화를 만들고, 나아가 주요 지표의 상승을 목표로 삼는 책입니다. 초반부에서는 기술 부분에 집중하기보다는, 각 기술 활용에 도움이 되는 관점과 방법론에 대한 내용이 담겨져 있습니다. 특히 1장부터 3장까지는 유저 행동과 이를 둘러싼 현상을 모델링하기 위해서 다양한 정성적 방법론을 소개합니다.

2장에서는 유저를 이해하기 위해서, 이론이 왜 중요한지 그리고 그 이론을 어떻게 만들 수 있는지 설명합니다. 이를 위해 여러 과학적 방법론들도 소개합니다.

•

모델(이론)을 만들고 검증하는 것 “Building and validating a conceptual model”

4주차. 프로덕트 분석할 때 이론이 중요한 이유

“잘 만든 Product에는 잘 만든 지표가 있다.”

1. UX 목표를 지표 설정에 반영하기

목표를 실제로 달성하려면 항상 "WHY"를 질문해야 합니다.

지표 설계의 목적은 무엇인가? 왜 이걸 해야 하는가?

지표를 확인하면 그로부터 액션플랜을 세울 수 있는가?

2주차 - UX 개선 결과는 어떤 지표로 측정해야 할까요?

1. Five Information Architecture Warning Signs in Your Analytics Reports

About this Content Information Architecture(IA)는 정보를 전달하는 구조를 의미합니다. 그런데 우리 IA는 과연 좋은 IA인 걸까요? 5가지 지표를 통해서 스스로 진단해볼 수 있는 방법을 소개합니다.

들어가며

Information Architecture(IA)란, 한정된 지면을 갖는 웹 또는 앱상에서 가장 중요한 정보를 가장 직관적인 형식으로 전달하는 디스플레이 구조를 의미함

IA는 아주 옛날에 소개된 개념이라 최근 들어 경시되는 경향이 있지만(”Nobody: 어차피 유저들 그냥 검색하지 않아?”), UX 및 비즈니스 관점에서 여전히 몹시 중요함

IA category가 잘 짜여졌는지 점검하기 위해서는 Analytics Data를 분석해 봐야 하며, 아래 대표적으로 점검해 보면 좋을 5가지 Analytics Metrics를 소개함

1.1. Low Traffic to Categories

Traffic이란?

특정 페이지군의 조회수 합계 vs. 개별 페이지의 조회수, unique visit vs. total visit 등 다양하게 정의할 수 있음

Traffic은 IA category가 유저 관점에서 얼마나 흥미롭거나 유용한지 나타낼 수 있는 가장 대표적인 지표임

IA 개선을 위한 시사점 도출시 고려 사항

상대적 traffic 규모: Category별 평균 Traffic 수준 대비 개별 category의 traffic이 얼마나 높거나 낮은지 관점에서 지표를 해석해야 함

Traffic의 차이를 유발하는 구조적 요인: 특정 category가 IA상 더 눈에 잘 보이게 표시되어 있거나, 반복적으로 등장하거나, 유입 경로가 다양할 수 있음; 이 경우 traffic이 더 높은 건 어찌 보면 당연하기에 해석시 유의해야 함