PAP Study Content

1. Intro: Quantitative vs. Qualitative UT / UX Research

거의 모든 업권에서 반복적인 디자인 사이클(Iterative Design Cycle)는 필수적으로 통용되고 있습니다. 이러한 디자인 사이클에서 중요한 절차 중 하나가 사용성에 대한 평가입니다. 그동안 통상적으로 쓰였던 사용성 평가 방법은 유저 인터뷰와 같은 정성적 방법(Qualitative)이지만 최근에는 다양한 정량적 방법(Quantitative) 또한 많이 쓰이고 있습니다.

•

The Iterative Design Cycle

•

Qual Research VS Quant Research

가장 큰 차이점은 사용하는 데이터의 유형입니다. qual data는 주로 사용자가 서비스에 대해 느끼는 직접적인 평가(direct assessment of the usability of a system)가 기록됩니다. 반면 quant data는 사용자가 직접적으로 제공하진 않지만, 지표를 통해 알 수 있는 간접적인 정보들입니다.(e.g., task-completion times, success rates, number of errors, satisfaction ratings)

이 외 주요한 차이점은 다음과 같습니다.

•

When to Use Qual vs. Quant

각 단계별로 하나의 방법론만을 사용하는 것은 아니지만, 적절하다고 여겨지는 방법론은 존재합니다. 예를 들어 Step 2(redesign)에서는 보통 qual research가 더욱 적절한 것으로 알려져 있습니다. (반대로 재무적 성과를 평가할 때는 quant research 방법론이 더욱 적합할 것이고요.)

실제로 5명 이상의 사용자를 qual research하면 85% 이상의 사용성 문제를 발견할 수 있다고 합니다.(지금 회사의 Founder/CEO 의견은 5명 이상으로도 충분하나, 3~40명 정도는 만나봐야 명확해진다고 하더라고요.)

1주차 - Quant In UX

Nielsen Norman Group

“잘 만든 Product에는 잘 만든 지표가 있다.”

1. UX 목표를 지표 설정에 반영하기

목표를 실제로 달성하려면 항상 "WHY"를 질문해야 합니다.

1.

지표 설계의 목적은 무엇인가? 왜 이걸 해야 하는가?

2.

지표를 확인하면 그로부터 액션플랜을 세울 수 있는가?

위 질문에 대답을 했다면, 이제 2가지 주의사항을 짚고 넘어가야 합니다.

2주차 - UX 개선 결과는 어떤 지표로 측정해야 할까요?

1. Five Information Architecture Warning Signs in Your Analytics Reports

About this Content Information Architecture(IA)는 정보를 전달하는 구조를 의미합니다. 그런데 우리 IA는 과연 좋은 IA인 걸까요? 5가지 지표를 통해서 스스로 진단해볼 수 있는 방법을 소개합니다.

들어가며

•

Information Architecture(IA)란, 한정된 지면을 갖는 웹 또는 앱상에서 가장 중요한 정보를 가장 직관적인 형식으로 전달하는 디스플레이 구조를 의미함

•

IA는 아주 옛날에 소개된 개념이라 최근 들어 경시되는 경향이 있지만(”Nobody: 어차피 유저들 그냥 검색하지 않아?”), UX 및 비즈니스 관점에서 여전히 몹시 중요함

•

IA category가 잘 짜여졌는지 점검하기 위해서는 Analytics Data를 분석해 봐야 하며, 아래 대표적으로 점검해 보면 좋을 5가지 Analytics Metrics를 소개함

1.1. Low Traffic to Categories

Traffic이란?

•

특정 페이지군의 조회수 합계 vs. 개별 페이지의 조회수, unique visit vs. total visit 등 다양하게 정의할 수 있음

•

Traffic은 IA category가 유저 관점에서 얼마나 흥미롭거나 유용한지 나타낼 수 있는 가장 대표적인 지표임

IA 개선을 위한 시사점 도출시 고려 사항

•

상대적 traffic 규모: Category별 평균 Traffic 수준 대비 개별 category의 traffic이 얼마나 높거나 낮은지 관점에서 지표를 해석해야 함

•

Traffic의 차이를 유발하는 구조적 요인: 특정 category가 IA상 더 눈에 잘 보이게 표시되어 있거나, 반복적으로 등장하거나, 유입 경로가 다양할 수 있음; 이 경우 traffic이 더 높은 건 어찌 보면 당연하기에 해석시 유의해야 함

•

전략적 중요도: 해당 category가 서비스가 유저에게 전달하고자 하는 core value 및 business 관점에서 중요한지 판단해야 함

3주차: IA와 AB Testing에 대하여

Nielsen Norman Group

A/B Test

Information Architecture

0. 들어가며

2장 "Building a Theory of the Social Universe"은 아래 내용을 다룹니다

This book is a practitioner’s guide to generating actionable insights from consumer data.

Product Analytics는 유저 행동 데이터를 활용하여, 변화를 만들고, 나아가 주요 지표의 상승을 목표로 삼는 책입니다. 초반부에서는 기술 부분에 집중하기보다는, 각 기술 활용에 도움이 되는 관점과 방법론에 대한 내용이 담겨져 있습니다. 특히 1장부터 3장까지는 유저 행동과 이를 둘러싼 현상을 모델링하기 위해서 다양한 정성적 방법론을 소개합니다.

2장에서는 유저를 이해하기 위해서, 이론이 왜 중요한지 그리고 그 이론을 어떻게 만들 수 있는지 설명합니다. 이를 위해 여러 과학적 방법론들도 소개합니다.

•

모델(이론)을 만들고 검증하는 것 “Building and validating a conceptual model”

4주차. 프로덕트 분석할 때 이론이 중요한 이유

Product Analytics

정량 분석

0. 들어가며

3장 "The Coveted Goalpost: How to Change Human Behavior"은 아래 내용을 다룹니다

2장에서 유저를 이해하기 위해서 이론이 왜 중요하고, 어떻게 그 이론을 만들 수 있는지 설명했다면, 3장에서는 인간의 행동 변화에 대한 이론들을 설명하고, 웹 프로덕트에 적용할 수 있는 예시들을 살펴봅니다.

1. Actionable Insight 이해하기

What is the desired change that we seek, and how do we find the best moves to test to get there?

우리는 원천 데이터에서 이론들을 이끌어 내야 합니다. 하지만 이는 쉽지 않습니다. 많은 회사들은 데이터 드리븐 의사결정을 내려야 한다는 것을 알고 있지만, 실행가능한 인사이트를 데이터로부터 이끌어내는 것에 실패하고 종종 직관에 따라 결정을 내리기도 합니다. Actionable Insight의 네 가지 종류

이 중에서 Causal Insight가 유저 행동 변화를 이끌어내는 데 가장 중요하다.

2. 행동 변화를 이해하고 측정하기

The first step in understanding what causes human behavior change is understanding “behavior”.

5주차 - 유저 행동 변화를 이끌어내려면 알아야 할 이론들

Product Analytics

정량 분석

정성 분석

0. 들어가며

이번 세션에서는 다음 내용을 다룰 예정입니다.

데이터 분석가 및 데이터 사이언티스트, 경영진들은 효과적으로 핵심 성과 지표(KPI)를 측정하는 것이 중요합니다. 지표가 없다면 서비스에서 어떤 일이 일어나고 있는지 측정할 수 없으며, 최적의 결과가 나오지 않습니다.

따라서, 이번 글에서는 행동 데이터를 직관적으로 이해할 수 있는 매트릭 개발에 대한 기본적인 내용들을 다룰 예정입니다. 지표를 개선하고 더 잘 이해하기 위한 방법들에 대해 알아봅시다.

1. 기간, 연령, 코호트

매트릭을 개발할 때에는 시간적 요소를 고려해야합니다. 모든 지표에는 시간적 요소가 있으며, 이 시간적 요소에 따라 ‘모집단’을 정의하는 법을 알아야 합니다.

인구 통계학은 인구에 대한 통계적 연구이며, 이 개념은 웹 서비스에서 유저를 집단별로 나눌 때 매우 유용합니다. 인구 통계의 핵심은 기간, 연령, 그리고 코호트라고 할 수 있습니다.

매트릭은 시간이 지날수록, 유저가 변화함에 따라 급격하게 변하기 때문에, ‘시간’이라는 요소는 유용한 지표를 구축하는 데 있어 중요합니다. 따라서, ‘시간’과 ‘사건’ 사이의 관계를 이해한다면, 더 나은 매트릭를 개발할 수 있습니다. 기간, 연령, 그리고 코호트는 이러한 관계를 다루는 개념입니다.

6주차 - 유저 행동을 측정하는 4가지 주요 개념과 측정 방법

Product Analytics

지표 설정

0. CH3.를 들어가며

이번 세션에서는 다음 내용을 다룰 예정입니다.

목차

Summary

성공적인 Usability Test를 하기 위해서는 데이터 수집 관련 계획을 세워야 합니다.

가장 먼저, 아래의 태스크의 목표를 이해해야 합니다.

다음으로, 아래와 같은 사용자의 목표를 이해해야 합니다.

태스크 및 사용자 목표를 이해한 후 메트릭을 설정하면, 시간과 비용을 절약하고, 제품에 큰 영향을 미칠 수 있습니다.

여기서 고려해야 하는 실용적인 디테일은 다음과 같습니다.

3.1 Test Goals

UX 연구 진행 전, 데이터가 제품 개발 주기 내에서 궁극적으로 어떻게 사용될 것인지를 고려해야 합니다. 기본적으로 Formative Usability Test, Summative Usability Test 두가지 방법이 있습니다.

7주차 - Metric을 고려한 Usability Test 하기

0. 들어가며

해당 아티클을 통해 아래와 같은 정보를 얻어가실 수 있어요.

1. Performance Metrics (성능 지표) 챕터

1.0. Intro

1.

기술을 사용하는 그 누구든, 목표를 달성하기 위해서는 특정 종류의 인터페이스와 상호작용하게 된다. 이런 인터페이스와 상호작용하게 되는 그 결과로, Performance Metrics가 파생된다. 

2.

그 어떠한 사용자 행동도 특정한 방식을 통해 측정이 가능하다. 다만, Performance Metrics의 경우 사용자 행동에만 의존하는 것이 아닌, 사용 시나리오 및 태스크에 따라 달라진다. 목표하는 태스크가 없다면 Performance Metrics는 의미를 잃게 된다. 

3.

목표하는 태스크는 사용자에게 우리가 임의로 제공하는 그런 태스크라는 의미는 아니다. 라이브 웹사이트에서, 우리가 의도했던 아니든 사용자들이 하고 싶은 어떤 행동이 태스크가 될 수도 있다. 사용성 테스트에서 직접 원하는 태스크를 만들어낼 수도 있을 것이다.

1.1. 기본기

8주차 - 유저 행동 지표에서 사용성 문제 찾기 | 자기 보고 지표 활용 가이드라인

Measuring UX

UX Research

지표 수집 설계

들어가며

Summary

이번 포스팅에서는, 사용자 경험을 측정하기 위한 6가지 기법과 활용 방식에 대해 배워봅니다. (Not traditionally thought of as part of “main-stream” UX data)

1. Web Analytics

1.1 Web Analytics 기초

1.1.1 정의

•

사용자들이 우리 서비스에서 어떤 행동을 하는지 분석하는 것. 보통 GA와 같은 Web Analytics툴로 지표를 쉽게 확인이 가능함. 

1.1.2 기본 용어들

•

방문자 수: 서비스 방문자수. 보통, 기간 중 1회만 집계하며(중복 제거), Unique Visitor라는 용어를 쓰기도 함. 기존 방문자와 구분하여 신규 방문자를 따로 보기도 함.

•

방문 수: 서비스 방문이 이루어진 개별 건수. 세션이라고 불리기도 함. 한 명의 방문자는 기간 중 여러 번의 방문을 할 수 있음.

•

페이지뷰: 개별 페이지 조회수. 같은 방문자가 페이지를 새로고침 or 재조회해도 PV에 집계되며, PV는 우리 서비스에서 어떤 페이지가 가장 인기있는지를 나타냄.

•

랜딩페이지: 서비스에서 최초로 방문하는 페이지. 대부분 홈 화면이지만, 검색 또는 북마크를 통해 들어오는 경우 하위 페이지일 수 있음.

9주차 - UX를 측정하기 위한 다양한 기법들

정량 분석

정성 분석

Usability test

Source : https://www.monterail.com/blog/ux-interviews-software-product-faq

목차 열어보기

CHAPTER 11 : Case Studies

11.1 : 제품 디자인 의사결정에 In-depth Interview, Eye tracking 지표를 활용한 사례

11.2 : 경쟁사 벤치마킹을 위한 PCW 프레임워크

11.3 : UX Profit Chain Model 연구 사례

두 가지 연구가 있습니다

•

화면을 통해 실험함.

•

Measure

•

평가

Summary and Recommendation

•

자주 벤치마킹하라

•

다른 산업군에서 best practice를 찾아라

•

정성/정량을 모두 사용하라

•

문제를 단순화하라

•

search와 filter로 의사를 찾을 수 있도록 도와라

11.4. Seasonality Decomposition

10주차 - Part 2 : 제품 디자인 의사결정 및 벤치마킹에 UX Metric 활용하기

Measuring UX

12주차 - UX 데이터를 활용의 성공을 돕는 10원칙

1. Make the Data Come Alive

우리가 UX Research 로 임팩트를 내기 위해서는 인사이트가 나오는 것에서 그치면 안됩니다. 우리가 해당 데이터에 대해서 체감하는 잠재적인 임팩트와 스토리를 의사결정권자들도 체감할 수 있어야합니다.

본문에서는 도움이 될 몇가지 방안들을 제안합니다.

1.

UX Research 를 할 때 의사결정권자들이 research 에 참여할 수 있는 방안 마련해두기 
(ex: screenshare, visit)

의사결정권자들이 반복적인 유저 행동 패턴을 포착하는 것이 중요합니다.
→ 따라서 한두명의 반응으로 결정을 지정하는 것이 아닌 충분한 모수의 양만큼 함께 확인하기

2.

UX Research 의 결과를 비디오에 담아내기

3.

Key UX Metric 제시하기 (task success, efficiency, satisfaction)
→ UX Metric 들을 ROI 랑 연결짓는 것이 핵심

2. Don’t Wait to be Asked to Measure

필자는 따로 지시가 떨어지기 전에 UX 데이터를 먼저 수집하기 시작한 것이 가장 잘한 것들 중 하나였다고 소개합니다.

12주차 - UX 데이터 활용의 성공을 돕는 10원칙

Measuring UX

데이터 활용

PAP Study Content

1. Intro: Quantitative vs. Qualitative UT / UX Research

“잘 만든 Product에는 잘 만든 지표가 있다.”

목차

1. UX 목표를 지표 설정에 반영하기

목표를 실제로 달성하려면 항상 "WHY"를 질문해야 합니다.

1. Five Information Architecture Warning Signs in Your Analytics Reports

들어가며

1.1. Low Traffic to Categories

Traffic이란?

IA 개선을 위한 시사점 도출시 고려 사항

0. 들어가며

0. 들어가며

1. Actionable Insight 이해하기

2. 행동 변화를 이해하고 측정하기

0. 들어가며

1. 기간, 연령, 코호트

0. CH3.를 들어가며

Summary

3.1 Test Goals

1. Performance Metrics (성능 지표) 챕터

1.0. Intro

1.1. 기본기

들어가며

목차

Summary

1. Web Analytics

1.1 Web Analytics 기초

CHAPTER 11 : Case Studies

11.1 Thinking Fast and Slow in the Netflix TV User Interface

Background

11.4. 헬스케어 웹사이트 사례 4가지

11.4. Seasonality Decomposition

12주차 - UX 데이터를 활용의 성공을 돕는 10원칙

1. Make the Data Come Alive

2. Don’t Wait to be Asked to Measure