0. 들어가며
2장 "Building a Theory of the Social Universe"은 아래 내용을 다룹니다
This book is a practitioner’s guide to generating actionable insights from consumer data.
Product Analytics는 유저 행동 데이터를 활용하여, 변화를 만들고, 나아가 주요 지표의 상승을 목표로 삼는 책입니다. 초반부에서는 기술 부분에 집중하기보다는, 각 기술 활용에 도움이 되는 관점과 방법론에 대한 내용이 담겨져 있습니다. 특히 1장부터 3장까지는 유저 행동과 이를 둘러싼 현상을 모델링하기 위해서 다양한 정성적 방법론을 소개합니다.
2장에서는 유저를 이해하기 위해서, 이론이 왜 중요한지 그리고 그 이론을 어떻게 만들 수 있는지 설명합니다. 이를 위해 여러 과학적 방법론들도 소개합니다.
•
모델(이론)을 만들고 검증하는 것 “Building and validating a conceptual model”
•
추상, 관념으로부터 지표를 설정하는 것 “Creating metrics from abstract, intangible concepts”
1. 이론이 중요한 이유는 무엇일까요?
Building theory is vital to improving a web product because we need a framework for understanding what is happening in our product.
우리는 이론을 통해서 유저가 제품을 어떻게, 왜 사용하는지 알 수 있습니다. 우리가 어떤 현상을 총체적으로 이해하기 위해서는 인식틀(프레임워크)이 필요합니다. 예를 들어 주체-객체라는 인식틀을 통해서 우리는 ‘나'와 ‘너'가 다르다는 것을 쉽게 이해할 수 있습니다. 이처럼 프로덕트 내 유저 행동을 이해하기 위해서는 유저 행동을 이해하도록 하는 인식틀(프레임워크), 즉 이론이 필요합니다.
이론이 없다면 어떻게 될까요? 저자가 만난 어느 다국적 기업 임원은 A/B테스트를 통해서 유저가 X상황에서는 Y행동을 하고, P제품을 사용하다 Q제품을 사용한다는 것은 알았지만, 유저-프로덕트에 대해 총체적으로는 알 수 없었다고 합니다.
이처럼 이론은 우리에게 맥락 정보를 제공하는 역할을 합니다. 맥락, 배경에 대해서 알고 있으면 유저 행동의 변화가 어떤 의미를 지니는지 쉽게 판단할 수 있습니다. 데이터 분석가에게 요구되는 역량으로 흔히 이야기되는 ‘도메인 지식'과 결이 비슷한 점이 있는 것 같습니다.
2. 이론은 어떻게 만들 수 있을까요?
2-1. 이론의 정의, 구성
Theory : A plausible or scientifically acceptable general principle or body of principles offered to explain phenomena.
이론은 현상을 설명하는 일반 원칙이라 할 수 있습니다. 책에서 주로 언급하는 현상은 웹,앱 프로덕트 내 유저 행동에 관한 현상입니다. 유저 행동에 관한 이론을 만드는 이유는 시스템을 이해하고, 유저 행동을 예측하기 위해서 입니다.
2-2. 이론 구성 방법(1) 범주화(Categorization)
Categorization, or the practice of putting objects into groups, is a very helpful technique for understanding and generalizing behavior.
이론의 구성 요소인 컨셉을 잡는 방법으로 ‘범주화'(Categorization)가 있습니다. 범주화는 많은 데이터를 맥락에 맞고, 직관적이며, 의미있는 방식으로 정리하도록 해줍니다. 이 과정을 통해 많은 데이터 안에서 유저 행동을 상대적으로 쉽게 이해할 수 있습니다.
범주를 나누지 않고 단순히 특정 이벤트만 집계한다면 어떻게 될까요? 범주가 없이 데이터를 확인한다면 의사결정/행동으로 이어지지 않는 불필요한 지표를 만들 수도 있고, 혹은 그 과정에서 배움을 얻기 힘들 수 있습니다.
소셜 서비스에서 유저 사이의 인터랙션은 아래처럼 범주화할 수 있다고 해요.
Out-Social: our → other | In-Social: other → our | |
Active Social | Liking others’ content
- likes
- comments
- messages
- friendships
- following | Having others like your content
- likes
- comments
- messages
- friendships
- following |
Passive Social | Engaging with others’ content
- reading
- exploring
- checking | Others engaging with your content
- reading
- exploring
- checking |
이를 통해 유저 사이의 인터랙션이라는 하나의 현상을 4개 범주로 나눠서 상세하게 구분할 수 있습니다. 그리고 다음 질문을 추가적으로 던져볼 수 있습니다.
•
A유저가 왜 패시브한 인터랙션 방식을 선택했을까?
•
메시지 수신이 메시지 발신에 어떤 영향을 줄까?
•
웰컴 메시지를 주는 것이 전체 메시지 양에 영향을 줄까?
2-3. 이론 구성 방법(2) 서술(Description)
We need to understand the core functionality of our product, and by answering these core questions we have a better sense of what we want to understand.
간단하게 해볼 수 있는 방법은 ‘서술’(Description)입니다. ‘서술'은 유저가 프로덕트 내에서 무엇(What)을 하는지, 저널리즘에서 육하원칙에 따라 보도하듯 기록하는 작업입니다. 서술을 통해서, 우리는 프로덕트와 유저를 더욱 잘 이해할 수 있고, 나아가 무엇을 더욱 이해하고 싶은지 알 수 있게 됩니다. 서술하지 않는다면, 우리는 유저가 프로덕트 내에서 무엇을 하는지 알 수 없기 때문에 이론 수립에 어려움을 겪을 수 있습니다.
2-4. 좋은 이론의 5가지 요건
좋은 이론은 5가지 요건을 갖추고 있습니다.
요건 | 설명 |
Generalizable | 일반화할 수 있어야 합니다
(identifying common phenomenon) |
Objective | 객관적이어야 합니다
(free from bias) |
Verifiable | 검증 가능해야 합니다
(can be tested) |
Falsifiable | 오류가 있다면, 검증할 수 있어야 합니다
(can be proven false) |
Reproducible | 재현할 수 있어야 합니다
(consitent and can be shown in different contexts and examples) |
일반화 (Generalizable)
일반화는 다양한 유저, 상황을 관통하는 공통된 현상을 찾는 것입니다. 일반화는 개별 현상에서 추상적 이론을 끄집어낼 수 있다는 점에서 유용합니다. 일반화를 검증하는 2가지 도구는 Type I, II Error 이며, 위 에러의 정도에 따라 일반화가 잘 되었는지 파악할 수 있습니다.
예를 들어, ‘파티 장소에 도착해서 30분 안에 식사를 하는 사람은 배고픈 사람이다’라는 가설이 있습니다.
배고픔 | 배고프지 않음 | |
도착 후 30분 내 식사 | True Inference | Type II Error |
도착 후 30분 이후 식사 | Type I Error | True Inference |
•
Type I Error는 배고픈 사람을, 30분 이후 식사를 했다고 해서, 배고프지 않은 사람으로 판단하는 오류입니다.
•
Type II Error는 배고프지 않은 사람을, 30분 내 식사를 했다고 해서, 배고픈 사람으로 판단하는 오류입니다.
재현성 (Reproducible)
이론은 재현 가능해야 합니다. 다시 말해, 유저 행동의 패턴이 한번만 이루어지는 것이 아니라 (이론에서 설명하는 바에 따라) 반복해서 이루어저야 합니다.
3. 어떻게 측정할 수 있을까요? - 2.2
3-1. 항목의 정량화
이론을 구성하는 항목이 정성적일 때는 항목을 명확하게 정의하고, 측정 항목을 정하고, 지표를 설정합니다.
과정 | 설명 | 사례 |
Conceptualization | 타당성, 신뢰성 높은 컨셉을 정의합니다
(Clearly define a concept that is valid and reliable) | [컨셉] 사회적 분위기
- 특정 위치, 환경, 사람들의 일반적인 혹은 공동의 분위기 |
Operationalization | 컨셉을 측정할 수 있도록 (측정) 전략을 세웁니다
(Define a strategy for how all dimensions of a concept can be measured) | [측정 항목]
- 분위기
- 위치
- 환경
- 인터랙션, 개인의 종류 |
Metric Development | 각 항목 별 지표를 설정합니다
(Creator indicators for each part of the operationalization) | [지표]
- 분위기에 관한 설문
- 위치
- 가구, 데코레이션, 조명
- 인터랙션 횟수 및 정도
- 사람 수 |
참고할 사항
1.
정성적 항목을 정의할 때는 모든 것을 고려할 필요는 없지만, 무엇을 왜 반영해야 하는지는 따져볼 필요가 있습니다.
2.
필요하다면, 리서치를 통해 정성적 항목에 관한 선례를 찾아볼 필요도 있습니다.
3.
각 단계를 지나면서, 최종 결과물(지표)가 본 목적(컨셉)을 충분히 대변하지 못할 수 있습니다.
3-2. 측정
•
이론 내 항목이 이미 정량적이라면 측정하기 상대적으로 쉽습니다. (Real-valued)
•
그러나 원하는 아이디어(항목)는 연속형 변수가 아닌 경우가 많습니다. (Ordinal, Nominal, etc)
4. 이론을 만들고, 각 항목을 측정하고, 추론에 활용하려면?
4-1. Project Design Process - 2.1.4
프로젝트 디자인 프로세스는 유저행동의 패턴을 유형화하고, 이를 테스트(검증)하고, 그 결과를 활용하여 추론하도록 하는 방법론입니다.
•
이론을 수립하고,
•
이를 기반으로 가설/지표를 설정하고,
•
유저-프로덕트 사이의 메커니즘을 이해하고 활용(때로는 예측)할 수 있도록 돕습니다.
프로세스는 크게 4가지 과정으로 나뉩니다.
과정 | 설명 |
Theory development | 유저가 프로덕트 내에서 어떻게 행동하는지 모델링합니다
(Building a general model for how users are behaving in product.) |
Hypothesis generation | 이론을 입증할 수 있는, 검증 가능한 가설을 정의합니다
(Defining some testable statements that could help validate that theory.) |
Metric creation | 가설 내 항목을 대변하는 지표를 선정합니다
(Finding quantifiable measures that represent the desirable quantities.) |
Modeling and inference | 이론 기반으로 추론할 수 있도록 실험 등을 수행합니다
(Carrying out experimentation and modeling to make inference from the original theory.) |
4-2. Web Product 예시
Project Design Process 중에서 앞 단의 과정에 대한 예시입니다.
•
Model Description (Theory development)
•
Concepts to Test - 생략 (Theory development)
•
Hypotheses (Hypothesis generation)
•
Indicators (Metric creation)
예시
Model Description (Theory) | Hypotheses | Indicators | |
Feed algorithm model | 유저는 아래 특성을 지닌 콘텐츠를 선호한다
(1)그들이 즐길 수 있는
(2)시의적절
(3)관심 있는 사람이 만들었다
(4)독특한 형태
(5)다른 사람들도 좋아한다 | (1)최신 콘텐츠를 오래된 콘텐츠보다 선호한다
(2)과거에 좋아요를 누른 콘텐츠와 유사한 콘텐츠를 선호한다
(3)시각적으로 나은 콘텐츠를 더 선호한다
(4) … | Feed engagement metrics
(1) Views / exposure
(2) Clicks in the feed
(3) Time on the feed page |
질문, 답변
verifiable vs. falsifiable
Discussions
PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.
여기서 말하는 “이론"과 “통계적 가설"의 차이는 무엇일까요?
좋은 이론의 5가지 요건을 달성하지 못해 잘못된 분석을 한 경험이 있다면?
망한 지표, 찢었던 지표가 있나요?
Editor
허석영 데이터 분석가
양질의 정보를 적합한 대상에게 전달했을 때 즐거움을 느낍니다. 학습 플랫폼에서 사용자 경험 개선에 기여하려고 노력하고 있습니다. PAP 커뮤니티에서 많이 배우고 있어요 :)
이어지는 글 모아보기
전체 보기
Search
.png&blockId=187f136b-17e0-41c1-a1c5-d0659000409c)