제품관리/제로베이스 PM 파트타임 스쿨[제로베이스 PM 파트타임 스쿨] 6주차 - 8장 서비스 기획 업무 A to Z 알아보기 후반부

【최종수정시각】 2025. 05. 12. 10:34

 

 

 

목차

• 8.3 최소 기능 제품 (minimum viable product, MVP)
• 8.4 와이어프레임(wireframe)과 프로토타입(prototype)
• 8.5 A/B 검정 (A/B Test)
  • 번외 참고사항

 

 

 

8.3 최소 기능 제품 (minimum viable product, MVP)

---

• 개요
  • 에릭 리스(Eric Ries)가 집필한 『The Lean Startup』에 의해 널리 알려졌다.
  • Minimum: 최소의 | Viable: 존속 가능한, 생존 가능한 | Product: 제품
  • MVP란 최소의 노력으로 고객에 대한 배움의 양을 최대화 해주는 제품이다.
  • MVP가 필요한 까닭은 가장 효율적으로 피드백 루프를 형성(출시 → 측정 → 배움 → 종료/개선)할 수 있기 때문이다.
• 좋은 MVP vs 나쁜 MVP 1
  • 기능이 단순하거나 적은 제품이라 해서 반드시 MVP인 것은 아니다.
  • 기능이 단순하거나 적음에도 고객에게 아이디어의 핵심 가치를 온전히 전달할 수 있는 제품이다.
  • 기능성 측면에서만 온전해서도 안된다.
  • 기능성, 신뢰성, 사용성, 사용자 경험, 디자인 등 모든 속성에서 최소의 수준을 갖춰야 한다.
• 좋은 MVP vs 나쁜 MVP 2
  • 자동차가 아직 발명되지 않은 시절에 자동차라는 아이디어가 떠올랐다고 가정해보자.  
  • 바퀴(MVP) → 바닥만 있는 자동차 → 바닥과 옆구리는 있지만 지붕이 없는 자동차 → 지붕까지 달린 자동차
    : 바퀴는 자동차의 핵심 구성 요소 중 하나이다. 그러나 그것만으로는 자동차가 될 수 없다. 따라서 이처럼 기능성이 불완전한 MVP는 나쁜 MVP이다.
  • 킥보드(MVP) → 자전거 → 오토바이 → 자동차
    : 킥보드, 자전거, 오토바이는 자동차와 기능 측면에서 유사하다. 그러나 킥보드, 자전거, 오토바이, 자동차는 엄연히 서로 다른 제품이다. 이처럼 궁극적으로 지향하는 최종 버전에 비해 사용성과 사용자 경험이 크게 다른 MVP는 나쁜 MVP이다.
  • 자동차이기 위한 필수 조건만을 갖춘 자동차 (MVP) → 짐을 실을 수 있는 자동차 → 사람도 태울 수 있는 자동차 → 구성 요소의 품질 전반적으로 향상된 자동차
    : 자동차이기 위한 필수 조건을 다 갖추었다면 자동차라 부를 수 있다. 이치럼 핵심 가치를 전달하기 위한 필수 조건을 모두 갖춰야 좋은 MVP이다.
• 우수 실전사례
  1. 드롭박스(Dropbox)의 MVP
     • 제품을 개발하기 전에 클라우드 서비스의 시장 니즈를 파악하기 위해서 약 3분가량의 영상을 업로드했다.
     • 하룻밤만에 75,00 건의 베타 서비스 이용 신청자를 만들어내서 열렬한 시장 니즈를 파악했다.
     • 창업자는 막대한자금이 드는 클라우드 서비스를 구축하기도 전에, 유저들의 뜨거운 반응을 파악할 수 있었고 이를 통해 시간과 자원을 절약할 수 있었다.
  2. 에어비인비(Airbnb)의 MVP
     • 샌프란시스코에서 거주하고 있던 창립자들은 샌프라시스코에서 열리는 디자인 컨퍼런스에 맞춰 인근에 호텔을 구하기 어려운 참가자들에게 저렴한 숙박과 아침식사를 제공하였다.
     • 거주 중인 아파트 사진을 찍어 웹사이트에 올린 후 3명의 손님을 받게 되었고, 사람들이 낯선이의 집에 묵으며 돈을 낼 의향이 있다는 시장의 니즈를 파악할 수 있었다.
• PM의 MVP 활용 자세
  • 새로운 기능/제품을 개발하는 단계에서 적잘한 MVP를 설정하여, 리소스 낭비를 최소화하고 최대의 배움을 얻을 수 있게 해야 한다.
  • MVP를 설정할 떄는 다음 2가지를 반드시 고려해야 한다.
    1. 어떠한 가설을 검증하려 하는가?
    2. 그 가실을 검증하기 위해서 필요한 핵심 기능은 무엇인가?
  • 제품 개발 관련 인원은 모두 각자의 욕구가 뚜렷하기 때문에 균형점을 찾아야 한다. (PM은 다양한 기능 또는 최신의 UX를 포함한 최고의 제품을 기획하고자 하고, 개발팀은 안정적이고 유지보수가 용이한 제품을 개발하고자 하고, 디자이너는 아름다운 제품을 디자인하고자 한다.)
  • MVP는 내고 끝내는 것이 아니라, 고객의 반응에서 배움을 얻고 이를 통해 지속적으로 개선해야 한다.

8.4 와이어프레임(wireframe)과 프로토타입(prototype)

---

• 공통점
  • 시제품이 나오기 전 제품의 초기 버전이다.
  • 기획자, 개발자, 디자이너, 사이의 이해의 간격을 좁혀주는 역할을 한다.
  • 실제 고객의 사용 피드백을 수집하는 목적인 MVP와 달리, 내부 의사결정을 돕는 것이 목적이다.
• 와이어프레임
  • 디자이너가 작업을 시작할 수 있는 기초 역할을 한다.
  • 세부 묘사에 치우치지 않고 핵심적인 요소만 최대한 추상화하여 표현하는 것이 일반적이다.
  • 애니메이션이 적용된 효과, 복잡한 전환 등 까다룬 디자인 아이디어를 설명하는 경우에는 프로토타입이 더 낫다.
• 프로토타입
  • 와이어프레임과 다르게 실제와 비슷하게 구현된 상태로 간단한 인터렉션을 포함한다.
  • 충실도(fidelity)의 수준에 따라 저충실도 프로토타입과 고충실도 프로토타입으로 나뉜다.
  • 고충실도 프로토타입은 실제 제품과 거의 동일하게 동작하기 때문에, 의사소통 오류를 최소화할 수 있으나 제작에 오랜 시간이 소요될 수 있다.
• 와이어프레임와 프로토타입의 의의
  • 둘 다 의사소통의 도구이다.
  • 궁극적으로 디자이너과 개발자가 기획 컨셉을 제대로 이해할 수만 있으면 된다.
  • 고로 자신이 가장 효율적으로 다룰 수 있는 도구를 사용해 더 깊게, 그리고 더 자주 의사소통을 하는 것이 중요하다.

8.5 A/B 검정 (A/B Test)

---

• 개요
  • 임의로 나눠진 두 집단(A와 B)에게 서로 다른 UI/UX 등을 제시하고, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지를 정량적으로 평가하는 방식이다.
  • IT 기업 대다수에서 데이터 기반 의사결정의 도구로 활용하고 있다.
  • 대표적인 데이터 기반의 의사결정 및 서비스 기획의 방법이다.
• A/B 검정을 하는 이유
  • 급변하는 시장에서 정답은 아무도 모른다.
  • 효율적으로 테스트할 수 있는 환경에서 경험 있는 개인에게 의지하는 것은 너무 위험하거나 너무 비효율적이다.
  • 최고의 인재가 모인 구글(Google), 마이크로소프트(Microsoft) 등에서 하는 실험의 1~3할만이 긍정적인 결과를 얻는다.
• 진행 절차
  1. 목표 설정 및 지표 선정
     • 검정의 목표가 자세해야 지표 선정 및 가설 수립을 잘 할 수 있다.
     • 목표를 세운 다음, 그와 관련된 지표를 선정한다.
     • 지표의 분자와 분모를 명확히 해야 한다.
       예) 같은 가입전환율이라도 분모가 가입 화면 방문자 수인지, 혹은 설치 유저인지에 따라 값이 달라진다.   
  2. 가설 수립
     • 어떻게 하면 특정 지표가 증가/감소/유지할 수 있을지에 대한 가설을 수립한다.
     • 가설에 따라 실험 방법과 학습 대상이 달라지므로, 이를 신중히 수립해야 한다.
     • 수립 전에는 관련 정보를 충분히 탐색해야 한다.
       예) 신규 입사 혹은 이직한 PM이 이미 수행한 실험을 또 수행하는 낭비를 범하지 않으려면 과거 이력을 먼저 살펴봐야 한다.
     • 수립 후에는 가설이 정말로 목표에 부합하는지 검토한다.
  3. 실험 설계
     
     • 합계(sum), 평균(mean), 중앙값(median), 율(率, rate) 등의 통계 개념이 자주 사용된다.
     • 너무 민감*하거나 너무 강건*한 지표는 부적절한 지표이다.
     • 사용자 수가 많은 제품이면, 실험 실패에 따른 부작용을 최소화 하기 위해 표본 크기를 전체 사용자 수의 5~10%로 설정한다.
     • 사용자 수가 적은 제품이면, 50%까지 공격적으로 설정하기도 한다.
     • 오늘날에는 적절한 표본 크기를 직접 계산하지 않고 소프트웨어 도구 사용해 간편히 계산해볼 수도 있다.
     • 실험군과 대조군 설정은 편향되면 안 된다.(unbiased)
       예 1) 사용자 일렬번호가 홀수인 사용자 집단 vs 사용자 일렬번호가 짝수인 사용자 집단
       예 2) 사용자가 특정 행동을 하면 A/B 선택지 중 하나가 무작위로(randomly) 노출되게 한다.
       
     • 일반적으로 실험을 오래할수록 결과의 신뢰성이 높아진다.
     • 그러나 공휴일/주말 같은 특수한 날이 기간에 포함되면 결과가 왜곡될 수 있다.
     • A/B 선택지의 차이점은 가능하면 적고 확실한 것이 좋다.(회색지대 없이 극명한 1가지이면 가장 좋다.)
     • 그렇지 않으면 두 선택지의 차이점 중 정확히 무엇 때문에 결과가 다른지 단언하기 어려워진다.
  4. 실험 수행
     • 실험 수행 중에는 의도한대로 피실험자가 실험의 분기를 잘 따라가는지 점검해야 한다.
       예) 3번째 분기에서 A3와 B3 선택지 중 양자택일하지 않고 C3라는 예상 밖의 행동을 취하는 일이 없는지 점검한다.  
     • 최소로 요구되는 표본 확보를 달성했는지 여부도 꾸준히 점검해야 한다.
     • 실험 기간은 넉넉히 잡아야 한다.(너무 짧게 잡으면 원하는 만큼의 표본을 확보하기 못할 것이다.)
  5. 결과 분석
     • 유의도*나 신뢰도*를 계산한다.
• 주의사항
  1. A/B 검정은 (부분) 최적화 도구일 뿐, 큰 그림은 보여주지 못할 수 있다.
     : A/B 검정은 제품 개발 여정의 현 위치와 방향은 알려줄 수 있지만, 어떤 경로로 이동 중인지는 알려주지 못한다. (애초에 잘못된 경로에 진입했으면 A/B 검정이 아무리 좋아도 소용없다.)  
  2. 가설을 틀릴 것을 두려워하지 마라.
     : 빅테크 기업에서도 가설은 맞는 경우보다 틀리는 경우가 매우 훨씬 잦다.
  3. 인내심을 가지고 기다려라.
     : 의의로 현업에서 실험을 상당히 공들여 설계했는데, 정작 충분한 표본을 얻기 전에 조기 종료하는 일이 잦다.
  4. 너무 많은 변인을 동시에 고려하면 안 된다.
     : 종속변수에 관여하는 독립변수의 개수가 늘어날수록 종속변수 해석의 난이도는 급증할 것이다.

번외 참고사항

---

- 민감성 (sensitivity)

 

    한 시스템에서 입력이 작게 변했더니 출력이 크게 변하면, 이 시스템은 민감하다고 말한다.

 

※ 선형대수학 및 벡터(행렬) 미분적분학 주의 ※

    한 시스템의 민감도(sensitivity) $S$를 정의하는 방법은 여러 가지가 있다. 그 중 하나는 아래와 같이 입력 $\mathbf{x}$의 변화량 크기(norm) $\lVert \Delta \mathbf{x} \rVert$와 출력 $\mathbf{y}$의 변화량 크기(norm) $\lVert \Delta \mathbf{y} \rVert$에 기반하는 것이다. $$\begin{align*}S &\triangleq \frac{\lVert \Delta \mathbf{y} \rVert}{\lVert \Delta \mathbf{x} \rVert}\quad\text{(평균 민감도)} \\[6pt]S(\mathbf{x})&\triangleq \lim_{\|\Delta \mathbf{x}\|\to0}    \frac{\|\Delta \mathbf{y}\|}{\|\Delta \mathbf{x}\|}\quad\text{(순간 민감도)} \\[6pt]&= \bigl\|\mathbf{J}_{\mathbf{y}}(\mathbf{x})\bigr\|\end{align*}$$ 단, 여기서 $\mathbf{J}_{\mathbf{y}} \left( \mathbf{x} \right)$는 벡터 $\mathbf{y}$를 벡터 $\mathbf{x}$로 미분한 야코비안 행렬(Jacobian matrix)이다.

 

 

- 강건성(robustness)

 

    한 시스템에서 입력이 크게 변했더니 출력이 작게 변하면, 이 시스템은 강건하다고 말한다.

 

- 영가설(null hypothesis) & 대립가설(alternative hypothesis)

 

    영가설과 대립가설은 단독으로 정의하기가 어렵다. 왜냐하면 이 두 가설은 존재성이 상호의존적이기 때문이다. 서로가 존재하지 않으면 자신도 존재할 수 없다. 어떤 두 가설이 둘 중 하나는 반드시 참이지만, 모두 참이거나 모두 거짓일 수는 없다고 가정하자. 이때 한 가설을 '영가설'이라 지칭하면, 나머지 한 가설을 이 영가설의 '대립가설'이라 지칭한다. 혹자는 null hypothesis와 alternative hypothesis를 각각 귀무가설(歸無假說)과 연구가설(硏究假說)로 번역하곤 한다.

 

    예를 들어, 가설 "모든 백조는 하얗다."를 영가설 $H_{0}$로 지칭하면, "어떤 백조는 하얗지 않다." 이 영가설의 대립가설 $H_{1}$이다. 이들은 반드시 둘 중 하나만 참이고, 모두 참이거나 모두 거짓일 수는 없다. 따라서 이들은 영가설-대립가설 관계를 갖는다.  가설 $H_{0}$가 참임을 증명하려면 이 세상에 존재하는 모든 백조가 하얀지 일일이 관찰해야 할 것이다. 그러나 가설 $H_{1}$은 하얗지 않은 백조 단 1마리만 발견하면 참임이 증명된다. 이처럼 보통 상대적으로 증명하기 어렵거나 거짓일 것 같은 가설을 영가설로 설정하고, 상대적으로 증명하기 쉽거나 참일 것 같은 가설을 대립가설로 설정한다.

 

    대립가설이 참임이 증명하거나 대립가설이 참일 것으로 간주하면, "영가설을 기각한다"고 말한다. 만약 대립가설이 참임을 증명하지 못하거나 대립가설이 참일 것으로 간주할 수 없으면, "영가설을 기각하지 못한다."라고 말한다. 이처럼 영가설과 대립가설의 관계를 가지는 두 가설 중 입증 책임은 증명이 상대적으로 용이하거나 참일 것 같은 대립가설에 해당하는 가설에 부여된다.

 

- 유의도(significance level)

 

    유의도란 영가설을 기각하지 않을 수 있는 최대 허용 오차 확률이다. 이를 나타내는 기호로는 보통  $\alpha$와 같이 나타낸다. 직접적인 방법으로 계산하기는 어렵다. 영가설은 보통 대립가설에 비해 증명하기 까다롭기 때문이다. 고로 일반적으로 $1$에서 대립가설의 신뢰도를 빼는 식의 간접적인 방법으로 계산한다.

 

- 신뢰도¹(reliablity)

 

    신뢰도¹란 똑같은 대상 여러 번 반복 측정할 때, 결과가 일관되는 정도이다. 예를 들어, MBTI 성격검사는 검사를 받을 때마다 결과가 다소 일관적이지 않다는 지적을 받곤 한다. 이 지적이 옳다고 가정하면, MBTI 성격검사는 신뢰도가 낮은 성격검사이다.

 

- 신뢰도²(confidence level)

 

   

  신뢰도²란 모집단의 특정 모수의 값이 속할 것으로 추정되는 구간에 정말로 속할 확률이다. 신뢰도²는 통계학 용어이나, 신뢰도¹은 통계학 용어가 아니다. 따라서 평소 신뢰도¹와 신뢰도²를 신중히 구분하여 사용할 필요가 다소 있다.

예제 정규분포를 따르는 모집단의 평균 추정

---

[문제]

    $n$개 이상의 표본을 갖는 집단 $P$가 표준편차가 $\sigma$인 한 정규분포를 따른다. 집단 $P$에서 $n$개의 표본을 무작위로 추출해 새로 생성한 집단 $S$의 평균이 $\overline{x}$였다. 표준정규분포를 따르는 연속확률변수 $Z$에 대하여, $$\mathrm{Pr} \left(0 \leq Z \leq 1.96 \right) = 0.475$$ 라 가정할 때 다음 질문들에 답하라. (단, $n$은 자연수이다.)

1) 집단 $P$의 평균 $\mu$가 속할 구간을 닫힌 구간  $\left[\overline{x} - 1.96 \frac{\sigma}{\sqrt{n}},\  \overline{x} + 1.96\frac{\sigma}{\sqrt{n}} \right]$으로 추정하는 것의 신뢰도(confidence level)를 구하라.

2) 상기 추정을 대립가설 $H_{1}$이라 할 때, $H_{1}$의 영가설 $H_{0}$를 하나 작성하라.

3) 상기 $H_{1}$의 영가설 $H_{0}$이 가지는 유의도(significance level)를 구하라.

---

[풀이]

1) $$\begin{align*} \mathrm{Pr} \left( \overline{X} - 1.96 \frac{\sigma}{\sqrt{n}} \leq \mu \leq \overline{X} + 1.96 \frac{\sigma}{\sqrt{n}} \right) &= \mathrm{Pr} \left( -1.96 \leq Z \leq 1.96 \right) \\ &= 0.95 \end{align*}$$ 이다. 따라서 $\mu$가 속할 구간을 닫힌 구간 $\left[\overline{x} - 1.96 \frac{\sigma}{\sqrt{n}},\  \overline{x} + 1.96\frac{\sigma}{\sqrt{n}} \right]$으로 추정하는 것의 신뢰도는 $0.95$이다.

2)
$H_{0}$은 $H_{1}$의 부정이다. $H_{1}$은 $$H_{1}:\ \mu \in \left[\overline{x} - 1.96 \frac{\sigma}{\sqrt{n}},\  \overline{x} + 1.96\frac{\sigma}{\sqrt{n}} \right]$$ 와 같이 작성할 수 있다. 따라서 $H_{0}$은 $$H_{0}:\ \mu \notin \left[\overline{x} - 1.96 \frac{\sigma}{\sqrt{n}},\  \overline{x} + 1.96\frac{\sigma}{\sqrt{n}} \right]$$ 와 같이 작성할 수 있다. 상기 작성한 $H_{0}$과 동치(필요충분 관계인) 명제는 모두  $H_{1}$의 대립가설이다. 그러나 $H_{0}$과 동치(equivalent)가 아닌 명제는 모두 $H_{1}$의 대립가설이 아니다.

3)
한 영가설의 유의도의 값은 $1$에서 그것의 대립가설이 가지는 신뢰도를 뺀 값과 동일하다. 따라서  $H_{1}$의 영가설  $H_{0}$가 가지는 유의도 $\alpha$에 대하여 $$\begin{align*} \alpha &= 1 - 0.95 \\ &= 0.05 \end{align*}$$ 이다. ■

---

[답]

1) $0.95$

2) $H_{0}:\ \mu \notin \left[\overline{x} - 1.96 \frac{\sigma}{\sqrt{n}},\  \overline{x} + 1.96\frac{\sigma}{\sqrt{n}} \right]$ 혹은 이것과 동치인(equivalent) 명제

3) $0.05$