성공 지표와 가드레일 지표

 

프로덕트 개발 프로세스는 일반적으로 다음의 과정을 거친다.

 

1. 기획 및 플래닝

2. 디자인

3. 개발

4. QA

5. 성과분석

 

그리고 분석가는 이 모든 단계에 대부분 참여하게 된다(!)

 

프로세스 중 성과분석 단계에서

기획 단계에서 정했던 '성공 지표'와 '가드레일 지표'를 지속적으로 모니터링 하면서 효과가 있는지 확인한다.

 

여기서 '성공 지표'와 '가드레일 지표'는 무엇인가?

• A/B 테스트를 진행할 때 체크해야 할 중요 지표(metric)들인데, (A/B 테스트에 대해서도 추후 포스팅해보자)
• 성공 지표(success metric): 가설을 검증할 수 있는 지표
  • 기능이 사용되는 것 / 의도하고자 하는 바가 얼마만큼 이뤄졌는지 확인
  • ex) 장바구니 결제율, 크로스플랫폼 설치율, 구독 전환율, 콘텐츠 소비율 등
  • 성공 지표를 올바르게 정하면 신기능의 임팩트를 좀 더 객관적으로 판단할 수 있게 된다
• 가드레일 지표(guardrail metric): 성공 지표 개선 시에 오히려 악화될 수 있는 지표
  • 가설 검증 과정에서 영향을 받을 수 있다고 판단되는 지표
  • 가설이 검증되더라도 가드레일 지표가 허용범위를 벗어나 비용이 지나치게 많이 발생한다면 해당 기능은 적용하기 어려워질 것
  • 새로운 목표, 기능을 도입했을 때 잃을 수 있는 trade-off는 무엇인지 체크해볼 수 있는 지표
  • ex) 앱 삭제율, 환불율, 이탈율 등

 

현재 상황보다 더 나은 어떤 전략/액션을 취하기 위해서,

그것이 효과가 있는지를 A/B 테스트를 통해 확인하고,

확인이 되면 그 전략/액션을 도입하고자 하는 것인데,

 

그 전략/액션은 예상했던 대로 효과가 있을 수도 있고,

예상과는 달리 효과가 없을 수도 있고,

예상된 효과가 발생하지만 동시에 예상치 못한 역효과가 발생할 수도 있는 것이다.

 

그 목표로 했던 효과를 확인하기 위한 것이 바로 '성공 지표'

그 외의 네거티브한 효과가 발생하는지 확인하기 위한 것이 바로 '가드레일 지표'인 것.

 

예상과 실제는 항상 일치하지 않고, 실제적인 효과를 만들어내기 위해서는 반드시 현실에 도입해서 확인해보아야 한다.

그게 바로 A/B테스트가 중요한 이유일 것!

특히 이 부분에 대한 실제 사례 다음 링크를 참고해보면 좋겠다.

직관만 믿고 까불었다가 망한 PM의 사연

 

직관이 중요한 요소이긴 하지만, 나만의 직관은 내 것이기만 할 수 있기 때문에,

특히나 데이터분석가/사이언티스트로서 반드시 테스트해보고 수치로 명확한 근거를 찾아야 함을 잊지 말자!

---

 

 

참고 사이트 >

AU 임팩트를 말해주는 프로덕트 메트릭

핵클 블로그(Hackle Blog) : A/B 테스트 정복하기 (2) : 실험의 목표 지표는 어떻게 정하는게 좋은가요?

 

직관만 믿고 까불었다가 망한 PM의 사연