1. Five Information Architecture Warning Signs in Your Analytics Reports
About this Content
Information Architecture(IA)는 정보를 전달하는 구조를 의미합니다. 그런데 우리 IA는 과연 좋은 IA인 걸까요? 5가지 지표를 통해서 스스로 진단해볼 수 있는 방법을 소개합니다.
들어가며
•
Information Architecture(IA)란, 한정된 지면을 갖는 웹 또는 앱상에서 가장 중요한 정보를 가장 직관적인 형식으로 전달하는 디스플레이 구조를 의미함
◦
예컨대 아래는 정원 디자인 레퍼런스를 제공하는 웹사이트의 홈 화면인데, 이것이 이 회사의 IA output 그 자체라고 볼 수 있음
•
IA는 아주 옛날에 소개된 개념이라 최근 들어 경시되는 경향이 있지만(”Nobody: 어차피 유저들 그냥 검색하지 않아?”), UX 및 비즈니스 관점에서 여전히 몹시 중요함
•
IA category가 잘 짜여졌는지 점검하기 위해서는 Analytics Data를 분석해 봐야 하며, 아래 대표적으로 점검해 보면 좋을 5가지 Analytics Metrics를 소개함
1.1. Low Traffic to Categories
Traffic이란?
•
특정 페이지군의 조회수 합계 vs. 개별 페이지의 조회수, unique visit vs. total visit 등 다양하게 정의할 수 있음
•
Traffic은 IA category가 유저 관점에서 얼마나 흥미롭거나 유용한지 나타낼 수 있는 가장 대표적인 지표임
IA 개선을 위한 시사점 도출시 고려 사항
•
상대적 traffic 규모: Category별 평균 Traffic 수준 대비 개별 category의 traffic이 얼마나 높거나 낮은지 관점에서 지표를 해석해야 함
•
Traffic의 차이를 유발하는 구조적 요인: 특정 category가 IA상 더 눈에 잘 보이게 표시되어 있거나, 반복적으로 등장하거나, 유입 경로가 다양할 수 있음; 이 경우 traffic이 더 높은 건 어찌 보면 당연하기에 해석시 유의해야 함
•
전략적 중요도: 해당 category가 서비스가 유저에게 전달하고자 하는 core value 및 business 관점에서 중요한지 판단해야 함
⇒ 만약 traffic이 낮은데 전략적 중요도가 높다면 개선이 필요하고, 전략적 중요도마저 낮다면 그냥 빼 버리는 게 더 바람직함
1.2. Low Conversions
Conversion이란?
•
유저에게 바라는 행동(e.g. 구매, 구독 신청 등)을 유저가 실제로 취하는 것을 의미함
IA 개선을 위한 시사점 도출시 고려 사항
•
타 핵심 페이지로의 가교 역할 수행 여부: 특정 category의 conversion이 저조하더라도, 만약 다른 핵심 페이지 또는 서비스의 critical path로 연결시켜 주는 가교 역할을 하고 있는지 여부를 확인해야 함(e.g. How-to Information 페이지)
•
장기 고객 여정: 최종적으로 conversion이 일어나기 전에 특정 액션이 반복적으로 누적되어야 하는 경우도 존재; 만약 그렇다면 당장 conversion이 일어나지 않더라도, 장기적으로 긍정적인 영향을 끼쳤을 수도 있기 때문에 섣부른 판단을 지양해야 함
⇒ 만약 conversion이 낮은데 전략적 중요도가 높다면 개선이 필요하고, 전략적 중요도마저 낮다면 그냥 빼 버리는 게 더 바람직함
1.3. High Bounce Rates on Category Landing Pages
Bounce Rate이란?
•
Bounce란 페이지를 방문한 다음 다른 어떠한 액션도 취하지 않고 곧바로 나가 버리는 것을 의미하며, bounce rate는 bounce한 유저들의 비율을 의미함
IA 개선을 위한 시사점 도출시 고려 사항
•
이전 페이지가 무엇인지: 유저가 이전 단계에서 보고 클릭하게 되는 라벨, 사진, 설명 등이 형성하는 기대감이, 실제 유저들이 랜딩하게 될 페이지에서 제공하는 정보와 일치해야 함; 그렇지 않으면 바로 이탈 각
•
페이지 접속 직후 보는 화면이 무엇인지: 레이아웃상 콘텐츠를 바로 볼 수 없도록 방해하는 요소가 있다면 곤란함; 재빨리 UT 한 번 해보는 것도 방법
1.4. Low Entrance Rates
Entrance Rate이란?
•
Entrance란, 유저들이 처음으로 보게 되는 페이지를 의미함 (= Landing Page)
•
특정 categoty의 Entrance Rate은 이러한 첫 페이지를 조회한 사람 중, 해당 category를 조회한 사람의 비중임(랜딩페이지 조회자들 중 얼만큼의 사람들에게 선택받았는가?)
IA 개선을 위한 시사점 도출시 고려 사항
•
해당 category의 중요도: 매우 중요한 category임에도 entrance rate가 낮다면, 프로모션이나 라벨링의 문제일 수 있음
•
고객 유입경로별 차이: 예컨대 만약 social vs. search 두 가지 경로로 들어온 유저가 있는데 search로 유입된 유저의 entrance rate만 낮다면, SEO 이슈일 수 있음
•
Conversion: 만약 소수의 고객들만 유입시켰지만 그들의 전환율이 높다면, 이러한 niche 고객들을 위해서 해당 category를 남겨두는 것이 좋은 선택일 수 있음
1.5. High Volume of Search Queries
Search Query란?
•
“유저들이 무엇을 검색했는가”를 의미함; 이는 1) 고객이 무엇을 원하는지 2) 현 IA상 찾을 수 없는 정보가 무엇인지에 대한 정보를 담고 있음
•
가장 자주 검색되는 검색어를 찾아서, 이것을 IA category로서 담는 것이 좋은 시도가 될 수 있음
IA 개선을 위한 시사점 도출시 고려 사항
•
기존 category상 존재 여부: 현 IA상 이미 존재하는데도 search query상 크게 잡힐 수 있음; 이 경우 기존에 노출되던 category를 더 돋보이게 바꾸는 방식으로 변화를 줘볼 수 있음
•
기존 category 포화도: 기존에 더해서 새로운 category를 추가로 넣을 room이 있는지 판단해볼 것
•
전략적 중요도: search가 잘 된다고 해서 반드시 category화 될 필요는 없음; 전략적 중요도를 함께 고려해서 최종적으로 의사결정해야 함
2. Bounces vs Exits in Web Analytics
About this Content
Bounce와 Exit이라는 유사해 보이는 두 개념이 어떻게 다른지 설명합니다.
“All Bounces are Exits, but not every Exit is a Bounce!”
Bounce란?
•
유저가 특정 웹페이지를 방문하고 “곧장” 나가는 경우를 의미 (“One Single Interaction”)
Exit이란?
•
유저가 특정 웹페이지에서 나가는 경우를 의미 (다른 웹페이지를 이어서 열람하지 않고)
•
기존에 다른 웹페이지도 방문했는지 여부는 Exit의 정의와 무관함
그럼 Bounce와 Exit은 나쁜 거네?
•
어떠한 서비스든 이용의 끝은 있기 마련이므로, Bounce든 Exit이든 꼭 나쁜 것은 아님
•
Bounce Rate 또는 Exit Rate을 토대로 UX 시사점을 도출하기 위해서는, 유저가 해당 페이지에서 어떠한 액션을 취하기를 원했는지 맥락을 고려해야 함 (recap: “Soft Data”)
03. Define Stronger A/B Test Variations Through UX Research
About this Content
A/B Test는 물론 유용하지만, 제대로 진행하지 않으면 잘못된 결론에 도달하게 합니다. UX research와 결합하여 “Why”를 이해할 때 비로소 제대로 된 시사점을 얻을 수 있습니다.
A/B Test란?
•
웹/앱에서 어떠한 기능 또는 디자인을 출시할 때, 유저군별로 다른 버전을 노출시킴으로써 어떠한 버전(”Variation”)이 더 나은지 실험하는 방식
A/B Test시 유의해야 할 점
1) Variation와 Concept는 구분해야 함
•
디자인을 통해서 구현하고자 하는 바를 “Concept”, 이를 실제 디자인 작업물로써 표현한 결과물을 “Variation”이라고 함
•
낮은 전환율은 디자인이 조악하다는 걸 시사한다는 점은 자명하지만, 시안이 조악한 것과 컨셉이 애초부터 잘못된 것은 명확히 다르므로 둘을 구분해서 이해해야 함
2) 문제 정의가 잘못되었다면, Variation 단에서는 문제 해결이 불가능함
•
애초에 어떠한 issue와 그 root cause가 잘못 정의되었다면, Variation을 이리저리 fine tuning하는 것은 무의미함
◦
예를 들어 대출 신청서 제출율이 저조했는데, 그 원인을 screen이 너무 많기 때문이라고 정의함; 그래서 모든 내용을 한 screen에 때려 넣었지만 전환율은 개선되지 않음
◦
사실 고객들은 대출 금리 정보를 찾기 어려워 하고 있었고, 혹시 신청 페이지에 가면 정보를 얻을 수 있을까 해서 들어온 상황이었음
3) Variation은 직관의 결과물이기에, global optimum이 아닐 수 있음
•
디자인은 “정답” 내지는 “최적해”를 찾는 문제가 아니기에, 여러 Variation 시안은 결국 내부의 직관과 경험에 의존하여 탄생할 수밖에 없음
•
내부에서 A/B Test한 variation 중 특정 버전이 가장 우수하다고 해서, 이를 최선이라고 착각해서는 안 됨
더 나은 Variation을 위한 “진짜 원인” 찾기
•
무작정 가설부터 늘어놓지 말고, User Research를 바탕으로 소수의 가설을 최대한 정교하게 뽑아낸 다음 시작해야 함
A/B Testing 고도화 방법론
1) 유저의 방문 목적 및 이탈 원인 정의
•
유저가 방문하는 목적과, 떠나가는 이유를 명확하게 이해해야 좋은 가설을 세울 수 있음
•
예시적으로 아래와 같은 간단한 follow-up survey만 진행해 봐도 감을 잡을 수 있음:
◦
당신이 방문한 목적은 무엇입니까?
◦
당신은 목적을 이뤘습니까? 그 이유는 무엇입니까?
2) 인터페이스상의 결함 진단
•
유저가 특정 기능이나 지시 사항들을 의도와 다르게 받아들이고 있거나 헷갈려 하는 경우 이를 이해하는 데서 출발해야 함
•
예컨대 민감한 설문 문항으로 인해 제출률이 낮은 상황인데, [제출] 버튼 디자인만 계속 바꾸고 있으면 헛수고만 하는 셈
•
5명 정도만 UT를 진행해 봐도 ~85% 정도의 결함은 찾을 수 있음
3) 검색성(Findability) 진단
•
메뉴 또는 네비게이션 탭과 관련된 A/B 테스트는 기본적으로 IA 및 유저의 검색 경험에 크게 영향을 주므로, Findability가 확보되었는지 사전에 확인되어야 함
•
Tree Test를 통해 현재의 분류체계나 라벨링이 직관적인지 진단할 수 있음
4) Variation 완성도 높이기(Cleaning up design variations)
•
각 variation별로 명백한 개선 포인트가 있는 경우, quick fix 후 A/B Test를 진행하는 것이 각 variation의 최대 잠재치를 바탕으로 비교할 수 있음
04. Don't A/B Test Yourself Off a Cliff
About this Content
A/B Testing시 빠지기 쉬운 함정을 지적합니다. 부분적인 개선이 전체적 유저 경험을 해칠 수도 있음을 반드시 인지해야 합니다.
•
A/B Testing은 통상 특정 feature에 국한되며, A안의 타겟 지표가 B안 대비 얼만큼의 증분을 만들어 내는지 측정하는 방식으로 진행됨
•
그런데 타겟 지표가 명시적으로 좋아지는 쪽으로 제품을 개선해도, 전체적인 유저 경험의 향상은 부분적인 개선의 합에 미치지 못할 수 있음
◦
예컨대 오프라인 의류 매장에서 직원의 push sales 행태가 매출 향상에 xx%만큼 도움이 된다는 사실을 A/B 테스트를 통해서 알게 됨
◦
그러나 섹션별로 직원이 다가와서 말을 걸기 시작하면 짜증이 나기 시작하고 오히려 할 쇼핑도 안 하게 되는 경우를 상상해볼 수 있음
•
따라서 (어찌 보면 뻔한 이야기지만) A/B 테스트의 결과로 어떤 옵션이 좋은 지표를 보인다고 해도, “Why”를 한 번 더 파악하고 전체적인 UX flow상에서 한 번 더 점검해볼 필요가 있음
05. Putting A/B Testing in Its Place
About this Content
A/B Testing으로 핵심 사업 지표에 impact를 확인하는 것은 분명 의미있으나, 단기적이고 작은 개선에 치우치게 될 수도 있습니다. 정성 연구를 병행해야 큰 그림을 놓치지 않을 수 있습니다.
A/B Testing의 장점
•
Real-world condition 하, 유저가 취하는 실제 행동을 측정할 수 있음
•
통계적 기법을 통해 매우 근소한 차이도 판별할 수 있음
•
서로 상충되는 시사점이 있을 때, 무엇을 더 중시해야 하는지 우선순위를 판단할 수 있음
◦
예컨대 이커머스 업체가 쿠폰 번호를 입력하는 란을 구매 path상 잘 보이게 둘 것인지 말 것인지 경험하는 상황을 상상해 보자
◦
잘 보이게 두면 쿠폰 이용자들의 usability 관점에서는 유리하지만, 쿠폰을 받지 못한 고객들은 괜히 비싸게 사는 것 같은 기분이 들어 기분이 나쁠 수도 있고 심한 경우 구매 의사를 철회할 수도 있다
◦
A/B Test를 돌려 보면, 구매 path상에 쿠폰 입력 란이 잘 안 보이게 했을 때, 통상적으로 20-50% 정도 거래액이 증가한다고 한다(처음 알았다…!). 따라서 일반적으로 쿠폰 입력란을 너무 잘 보이게 두지 않는 것이 유리하다
•
테스트 비용이 거의 들지 않고, 진행이 크게 어렵지도 않음
A/B Testing의 한계
1) 프로젝트가 하나의 명확한 목적(Single KPI)을 가져야 하며, 유저의 행동을 바탕으로 손쉽게 트래킹할 수 있는 지표가 정의되어야 함
•
이커머스의 경우 거래액이 추종되어야 할 단 하나의 지표라는 사실이 자명함; 그러나 B2B 웹사이트의 경우, 이메일 뉴스레터 구독만이 단 하나의 명확한 목적이라고 볼 수 없음
•
예컨대 뉴스레터도 신청하지 않고, 백서 다운도 받지 않았지만, 우리 회사에 대해 긍정적인 인식을 받고 나중에 연락할 contact shortlist에 우리 회사 이름을 올렸다면, 이는 분명 좋은 일임
⇒ 따라서 특정 지표를 optimize하는 방향으로 A/B Testing을 진행하는 것은 위험할 수 있음
•
또한 브랜드 평판 제고처럼, 손쉽게 트래킹하기 어려운 목표들도 존재하며, 이메일 뉴스레터 구독률이나 오픈률은 확인할 수 있어도 독자들이 해당 뉴스레터를 어떻게 소비하는지는 알 길이 없음
2) 먼저 디자인이 완성되어야만 비로소 A/B Test를 돌릴 수 있음
•
디버깅이 끝나고 일차적으로 완성된 디자인만이 A/B Test를 통해서 상호 비교될 수 있기 때문에, 리소스의 한계로 수많은 아이디어들을 다 테스트할 수는 없음
•
UX 극대화를 위해서는 iteration이 필수적인데, 리소스가 많이 들거나 iteration 주기가 길면 효율적으로 완성도를 높이는 데 한계가 있음
•
반면 “Paper Prototyping”과 같은 방법으로는, 비록 정성적인 방법이기는 하지만, 하루만에 수많은 아이디어를 테스트해 보고 대략적인 감을 잡을 수 있음; 따라서 Paper Prototyping으로 아이디어를 shortlisting하고, 이를 바탕으로 A/B testing을 하는 등의 절충안도 가능할 것
3) 단기 중심적
•
A/B test를 몇 년에 걸쳐서 하고 싶은 사람은 극히 드물기에, 보통은 빠르게 의사결정을 내리는 데 씀
•
그러나 이러한 단기적인 성과에 매몰되면, 장기적인 유저 경험이 훼손될 수 있음(e.g. 배너로 범벅된 홈 화면)
⇒ 이 경우, 예컨대 특정 프로모션 매대의 매출이 오르는지만 A/B로 볼 게 아니라, 전체 매출 또는 장기적인 customer loyalty 등이 A/B에 따라 어떻게 영향을 받는지 함께 분석하는 것이 좋은 절충안이 될 수 있음
4) “Why”를 알기 어려움
•
당장의 실험 결과에 대해서는, 어떤 시안이 더 우월한지 지표를 통해 판단할 수 있음; 그러나 그 시안(v2.0)이 “왜" 더 나은지는 알 수 없이 때문에, v3.0의 방향성을 정하는 데 있어 시사점을 얻기 어려움
◦
‘버튼을 키웠더니 매출이 1% 늘었다 → 더 키우면 2%가 늘지 않을까…? ㅎㅎㅎ…’
•
또한 이 시안이 최선인지도 역시나 알기 어려움; 여러 번 새로운 안을 가지고 테스트하는 수밖에 없음
정-반-합!
•
A/B Testing은 언뜻 보면 매우 유용해 보이나, 사실 이익보다는 문제가 훨씬 많은 테스트 방법론임; 전환율을 개선하기 위해 가장 먼저 손을 뻗기에는 그다지 좋은 옵션이 아닐 수 있고, 특정 프로젝트에서의 유일한 테스트 방법론이 되어서도 안 됨
•
유저 행동에 대한 정성적 관찰이 훨씬 빠르고, 더 깊은 인사이트를 도출하는 데 도움이 될 수 있음; 또한 정량 분석이 갖는 여러 오류나 함정들에서 자유롭다는 이점도 존재함
•
만약 여러분의 회사가 UT를 정말 중시하는 문화를 바탕으로, 이를 정기적으로 시행하는 단계에 이르렀다면, 그 때는 비로소 A/B Testing을 활발하게 도입할 때일 것
⇒ (또 뻔하지만…) 정량 + 정성 분석을 적절히 버무리자…!
원문
1. 5 Information Architecture Warning Signs in Your Analytics Reports (article)
2. Bounces vs. Exits in Web Analytics (video)
3. Define Stronger A/B Test Variations Through UX Research (article)
4. Don’t A/B Test Yourself Off a Cliff (video)
5. Putting A/B Testing in Its Place (article)
Discussions
PAP에서는 스터디 구성원들이 세션 진행 후 주제 발제를 통해 논의를 진행합니다.
A/B 테스트를 어떤 툴로, 어떤 절차를 거쳐 진행하시고 분석하시나요?
또, 결과를 분석할 때 어떤 점에 유의하며 분석하시나요?
진행하며 겪었던 레슨런이 있다면 같이 공유해주세요!
A/B 테스트 진행시, 일반적인 통계적 검정 외에 베이지안 A/B 테스트나, MAB 등 다른 방법론을 사용해본 경험이 있으신가요?
pageview, conversion, bounce rates, entrance rates 등 다양한 지표를 읽어 보았는데,
요즘 중요하게 보고 있는 사용자 행동 지표는 무엇인가요?
그 지표를 해석할 때 주의해야할 점은 무엇인가요?
Editor
안재구 초보 데이터 분석가
초저가 팀구매 커머스 플랫폼 올웨이즈를 서비스하는 레브잇에서 문제 해결을 위해 필요한 것이라면 무엇이든 하고 있습니다. 데이터 중심 사고를 통해 또 한 번의 10x를 만들 수 있다고 생각해서, 부족한 경험을 PAP와 함께 채워 가는 중입니다.
이어지는 글 모아보기
전체 보기
Table
Search
.png&blockId=187f136b-17e0-41c1-a1c5-d0659000409c)