1. Intro: Quantitative vs. Qualitative UT / UX Research
거의 모든 업권에서 반복적인 디자인 사이클(Iterative Design Cycle)는 필수적으로 통용되고 있습니다. 이러한 디자인 사이클에서 중요한 절차 중 하나가 사용성에 대한 평가입니다. 그동안 통상적으로 쓰였던 사용성 평가 방법은 유저 인터뷰와 같은 정성적 방법(Qualitative)이지만 최근에는 다양한 정량적 방법(Quantitative) 또한 많이 쓰이고 있습니다.
•
The Iterative Design Cycle
•
Qual Research VS Quant Research
가장 큰 차이점은 사용하는 데이터의 유형입니다. qual data는 주로 사용자가 서비스에 대해 느끼는 직접적인 평가(direct assessment of the usability of a system)가 기록됩니다. 반면 quant data는 사용자가 직접적으로 제공하진 않지만, 지표를 통해 알 수 있는 간접적인 정보들입니다.(e.g., task-completion times, success rates, number of errors, satisfaction ratings)
이 외 주요한 차이점은 다음과 같습니다.
•
When to Use Qual vs. Quant
각 단계별로 하나의 방법론만을 사용하는 것은 아니지만, 적절하다고 여겨지는 방법론은 존재합니다. 예를 들어 Step 2(redesign)에서는 보통 qual research가 더욱 적절한 것으로 알려져 있습니다. (반대로 재무적 성과를 평가할 때는 quant research 방법론이 더욱 적합할 것이고요.)
실제로 5명 이상의 사용자를 qual research하면 85% 이상의 사용성 문제를 발견할 수 있다고 합니다.(지금 회사의 Founder/CEO 의견은 5명 이상으로도 충분하나, 3~40명 정도는 만나봐야 명확해진다고 하더라고요.)
•
qual : identifying the main problems in a design
•
quant : evaluating the usability of the site
qual research의 결과물은 디자인 문제에 대한 Finding이 될 것입니다.(a set of findings, which identify (and prioritize according to severity) the strengths and weaknesses of a design) 그러나 이러한 Finding을 받아들일 때는 2가지를 경계해야 합니다.
•
실험의 해석이 평가자의 역량에 의존하는 문제(evaluator’s effect)
•
실험 대상자가 전체 사용자를 대표하지 않을 수도 있음
반면에 quant research는 qual research에 비해 좀 더 많은 수를 대상으로 진행하며, 통계적 기법을 통해 우연에 의한 현상을 방어할 수 있습니다. (statistical significance)
2. How: Three Uses for Analytics in User-Experience Practice
quant research의 중요성이 커질수록, 이와 비례하여 부작용(?)도 나타나게 됩니다. 가장 큰 문제는 데이터 그 자체에 매몰되어 실행에 대한 것은 고려하지 않는 것입니다.(data without any actionable insight)
[Many beginners get stumped over one of three hurdles:]
•
Scope of metrics: So many things that can be measured, but which are meaningful?
•
Difference between metrics: Which metrics best answer specific questions?
•
Interface complexity: How do you get the analytics system to tell you what you want to find out?
아티클의 작성자는 다양한 UX 팀과의 인터뷰를 분석한 결과, 분석을 위한 high-value UX uses를 발견할 수 있었습니다.
•
Use #1. Issue Indication (문제 지표)
서비스가 달성하고자 하는 목표를 달성하기 위해 서비스의 여러 지표(site’s ability)를 모니터링하는 것은 매우 중요합니다. 이러한 지표의 측정 계획은 아래와 같이 구성이 됩니다.
•
Goals/macro conversions
서비스가 달성하고자 하는 최종 목표(e.g., 구매완료수, 리드 제출수, 계좌/카드 개설, 송금/이체 등)
•
Desirable actions/micro conversions
목표(goals)에 기여하는 더 작은 액션들(e.g, 버튼클릭, 상세페이지 방문 등)
•
Web metrics(or App metrics)
이를 측정하는 모든 데이터들
+ 이를 편하게 확인할 수 있는 대시보드 시스템
•
Use #2. Investigation (조사)
일반적으로 통용되는 서비스 문제의 몇가지 범주가 있습니다.(아티클에서 소개하는 이 예시는 주로 웹사이트에서 많이 사용하지만, 앱 서비스도 큰 맥락에서는 비슷한 것 같습니다.)
•
트래픽 이슈: organic vs paid, referrer 등
•
테크니컬 이슈: 페이지 로드 시간, 앱 크래시 등
•
콘텐츠 / 디자인 이슈: CTA, 히트맵 등
•
네비게이션 이슈(like 퍼널 or user journey)
•
Use #3. Triangulation (삼각측량?)
UX팀은 qual research(UT 등)의 분석 결과를 바탕으로, 서비스가 직면한 문제에 대한 해결책에 단서를 수집할 수 있습니다. 위 Intro에서 얘기한 것과 같이 qual research는 틀릴 가능성이 존재하지만, 그럼에도 문제 지점을 빠르게 찾을 수 있다는 장점이 있습니다.
[예시 1]
[예시 2]
[예시 3]
3. Macro & Micro conversions as Metrics in Analytics
전환율(Conversion rate)는 어느정도의 유저가 특정한 행동을 했는지, 그 비율을 의미합니다. 그러나 실제 비즈니스 상황에서는, 전환의 기준이 되는 액션의 빈도가 지나치게 낮을 때가 많이 있습니다.(Pretty Rare Event)
이럴 때 사용할 수 있는 좋은 대안은 그보다는 중요성이 떨어지더라도, 좀 더 빈도가 많은 행위를 Micro-Conversion으로 잡는 것입니다.
원문
1. Quantitative vs. Qualitative UX Research (video)
2. Quantitative vs. Qualitative Usability Testing (article)
3. Analytics vs. Quantitative Usability Testing (video)
4. Three Uses for Analytics in User-Experience Practice (article)
5. Macro & Microconversions as Metrics in Analytics (video)
Discussions
PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.
[공유 사례] 네이버 검색
[공유 사례] 콴다 학부모
[공유 사례] 증권사 이탈 분석
[디스커션 주제 1] Quantitative Methodologies 중 다들 어떤 방법에 경험이 있으신가요?
[디스커션 주제 2] Macro conversion이 비즈니스에서는 주된 목적이지만 데이터가 불충분한 상황은 종종 있는 듯해요. Macro대신 Micro conversion을 대신 확인했던 경험이 있으실까요?
[개념 보태기] Usability Testing, 소리내어 생각하기 프로토콜, External Validity & Internal Validity
Editor
길지홍 데이터 분석가
증권사를 거쳐 지금은 핀테크 회사에서 데이터를 분석하고 있습니다. 핀테크 / 온라인 금융 비즈니스와 프로덕트 사용성에 관심이 많습니다.
이어지는 글 모아보기
전체 보기
Search
.png&blockId=187f136b-17e0-41c1-a1c5-d0659000409c)
