Data-Driven UX란?

| UX 경험이 없는 엔지니어가 적음.

 

기업 내에서 데이터는 다양한 형태로 사용됩니다. 사용자의 웹 상의 행동 로그 데이터에 기반한 분석이나, 상품을 추천하기 위한 추천모델, 특정 목적을 위한 ML 모델 등이 그러한 다양한 형태의 구체적인 모습입니다. 

 

하지만, 분석가 또는 데이터사이언티스트 등의 한정된 직무의 관점에서 보면 각 직군의 다른 부분일 수 있는 그러한 복잡하고 다양한 요소들이 UX라는 관점에서 보면 모두 기업의 최종적인 목적인 이익을 올리기 위한 '사용자 경험 개선'이라는 항목으로 묶여지곤 합니다.

 

그러한 UX라는 넓은 주제에서, Data-Driven이라는 말에서 Data라는 부분이 컨택스트 상 컴퓨터로 수치화 되어 수집된 데이터로 한정되기에 정성적인 유저리서치는 제외될 수 밖에 없습니다.

 

이 글에서는 UX 중심으로 데이터 기반의 UX는 어떠한 기준과 방법론으로 개선을 해나가고, 구체적인 정량적 실험 방법들은 무엇이 있는지 그리고 실제 사례들을 알아보겠습니다.

 

이익과 PMF (Product Market Fit), 그리고 Growth

기업의 최종적인 목표는 이익 창출입니다. 그렇기에 대부분의 최우선 목표는 이익 그 자체이고, 최근의 스타트업을 평가하는 데에도, 높은 사용자 방문수도 좋지만, 이익을 만드는가라는 부분이 중요해지고 있습니다. 그렇기에 UX라는 부분의 기업활동 역시 무엇보다도 이익에 초점이 맞춰져 있어야 합니다. 

 

이익과 UX 지표를 바로 연결할 수 없다면, 이익을 가장 잘 대변하는 보조지표를 찾아 그 지표와 UX지표를 연결해 개선의 방향을 결정해야 할 것입니다 (OMTM, One metric that matters). 예로, 게임기업의 이익이 게임아이템 판매에 기반하고, 게임아이템 판매와 가장 연관성이 높은 (선행)지표가 하루당 로그인 수라면 그 지표가 늘거나 주는 것을 기준으로 UX의 개선여부를 판단해야 합니다.

 

또 다른 한 가지 기준점을 찾아보자면 스타트업이 망하는 가장 큰 이유는 제품-사용자니즈 간의 괴리 때문입니다:

Image from CBInsights

 

그렇기에 사용자 관점에서의 제품을 바라보는 UX는 기업의 가장 잦은 실패요인을 피하는 것과 매우 직결됩니다.

 

User experience (UX) design is the process design teams use to create products that provide meaningful and relevant experiences to users. This involves the design of the entire process of acquiring and integrating the product, including aspects of branding, design, usability and function [1].

 

그러한 UX에서도 제품-사용자 간의 접점에 초점을 맞춘 개념이 Product / Market Fit(PMF)입니다.

Product/market fit, also known as product-market fit, is the degree to which a product satisfies a strong market demand [2].

 

그렇다면 PMF의 상태가 좋은지 아닌지는 어떻게 알 수 있을까요?

 

많이 사용되고 있는 지표로는 아래와 같은 2가지가 존재합니다:

 

• Retention Rate: 사용자들이 제품을 사용하기 위해 재방문과 재구매가 꾸준히 이루어진다면 제품은 사용자에게 가치를 전달하고 있다고 볼 수 있음.

Retentaion Rate - Image from Department of Product

 

• The 40% Rule: 만약 해당 제품이 없어진다고 하면 현재 사용자는 어떻게 느낄 것인가?라는 질문에 40% 이상이 "매우 실망할 것"이라고 답한다면 훌륭한 PMF를 달성했다고 볼 수 있음.

위의 방법을 통해 파악한 PMF는 어떻게 개선해나갈 수 있을까요?

 

이 부분을 해결하기 위해 사용하는 관점은 바로 Growth Hacking입니다.

The goal of Growth Hacking is to rapidly test ideas that can improve the customer journey, and replicate and scale the ideas that work and modify or abandon the ones that don't before investing a lot of resources [3].

그로스 해킹은 "High-Tempo Testing" (by Sean Ellis)로 빠른 속도로 여러가지 아이디어를 테스트할 수 있는 시스템과 문화를 말합니다. 그렇기에 특정 목표지표를 기준으로 다양한 실험을 통해 테스트하고 평가하여 빠르게 개선해나갈 수 있는 기반이 됩니다.

 

위 두가지의 기준(OMTM과 PMF)를 바라보며 Growth라는 방법론을 실행하게 될 때 고려하게 될 것들이 아래에서 전달드릴 구체적인 방법들입니다. 

 

 

실험 방법들

실험은 기본적으로 정성적인 방법과 정량적인 방법이 존재합니다. 정량적인 방법은 수치화가 가능하고 어느 정도 자동화가 가능한 반면 (주관이 포함되나) 아래와 같은 한계점을 가지고 있습니다:

사용자가 ‘왜’ 이런 행동을 했는지 ‘근본적인 이유’는 데이터에서 뽑아내기가 어렵습니다. ‘맥락’을 파악할 수 없는거죠. [4]

아래에서는 정량적 방법인 A/B Testing과 Funnel 분석을 알아보겠습니다.

 

A/B Testing

A/B Testing은 기본적으로 대상을 실험군과 대조군 2가지로 나누어 테스트하고자하는 변수만 제외하고 다른 모든 변수를 통제한 채 진행하는 실험입니다. 그렇기에 다음과 같은 조건이 필요합니다:

 

• 테스트하고자하는 변수 제외 통제가 가능한 대상
• 대상을 테스트하고자하는 다양한 변수에 따라 분배할 수 있는 환경
• 측정 가능한 정량적 결과치

예로, 페이스북이 발견한 "가입한지 10일 이내 7명 이상을 친구로 가지게 되면 리텐션이 높다"라는 사실을 증명하려고 했다면 다음과 같습니다:

 

• 가설: 가입 후 10일 이내 7명 이상을 친구로 가지게 되는 계정은 리텐션이 높다
• 대상: 실험군과 대조군을 최대한 비슷하게 구성하여 실험군은 어떤 방법으로든(UI, 푸시 알림, 이메일 알림 등등) 친구를 7명이상 가지게 함 (대조군은 유사한 정도의 친구 추가 종용이 아닌 UI, 푸시 알림, 이메일 알림에 노출시킴)
• 정량적 결과치: 2주, 4주 등등 일정 시간이 지난 후의 실험군(친구 7명 이상 가진 부류)과 대조군 리텐션을 비교

매우 단순하고 매력적이지만, 실제로는 PMF를 찾은 후에 진행해야 효과없는 광고비 집행을 피할 수 있으며, 시도가 반복 될수록 시장 자체에 수요가 더 이상 존재하지 않아오는 한계로 초기와 같은 성장세를 보이기 어렵다는 부분이 존재합니다.

 

Funnel 분석

깔대기라는 뜻의 퍼널은 방문한 고객이 서비스가 목표한 최종 단계까지 가기 위해 거쳐가는 단계별로 얼마나 잔존하는지를 분석합니다. 각 단계에서 다음 단계로 넘어가는 것은 전환(Conversion)으로, 다음 단계로 전환하지 않는 것을 이탈(dropoff)로 정의합니다 [5]. 

Image from CleverTap

AARRR

Dave McClure가 개발한 분석 프레임으로 고객 유입부터 활동, 재방문, 추천, 구매에 이르는 여정(Journey)을 효과적으로 단계별로 관리하는 것에 중점을 두고 있습니다 [6]. 

Image from SlideShare [6]

• Acquisition: 사용자가 어떤 경로로 유입했는가?
• Activation: 어떻게 처음으로 회원가입이나 제품의 사용이 이루어지는가?
• Retention: 한 번 사용해본 사용자가 지속적으로 이용하는가?
• Revenue: 사용자의 활동이 매출로 이어지는가?
• Referral: 사용자들이 주변에 제품을 소개하는가?

그러한 단계별 항목들에 대해 전환율과 최종 평가 가치를 기준으로 개선해나갈 수 있게됩니다:

 

Image from SlideShare [6]

사례들

Neflix의 자동화된 사용자별 Customized된 영상 이미지(Artwork)는 직관적으로 와닿는 사례입니다.

 

특정 구조의 이미지에 잘 반응한 경우 다른 영상이미지도 유사한 형태를 제시하여 핵심지표들을 올리는데 상당한 기여를 했음(" As we suspected, the personalization worked and generated a significant lift in our core metrics.")을 시사하고 있습니다 [7].

 

[1] What is User Experience Design?

[2] Product/market fit

[3] Growth Hacking

[4] 토스가 사용자 경험에 ‘집착’하는 또 하나의 방법, 유저 리서치

[5] Funnel Analysis

[6] Startup Metrics for Pirates

[7] Artwork Personalization at Netflix

[8] Basics of UX

[9] Data Driven UX

[10] https://www.coursera.org/professional-certificates/google-ux-design