미리캔버스를 타겟으로 문제정의부터 가설수립까지

PM의 사고 방식 프레임워크 안에서 이번엔 미리디(미리캔버스)를 타겟으로 아래와 같은 순서대로 진행하보려고 한다.

1. 문제 정의
2. 가설 수립
3. 목표 설정
4. 액션/검증

먼저 회사의 비전 / 프러덕트 비전을 알아보기 위해  미리디 공식 사이트를 방문해 보았다. "어려웠던 디자인, 누구나 쉽게 시작할 수 있도록" 이라고 "디자인 생태계 혁신", "간편한 디자인 문화"를 추구하는 것이 그들의 비전이다. 문제 해결을 위한 목표수립은 이런 회사의 비전과 같은 맥락에서 정의 되어야 한다.

1. 문제 정의 = "템플릿  추천" 의사결정의 비효율성!

"오늘의 추천 템플릿" 영역에 내부 사용자가 템플릿을 지정해서 추천한다 가정시, 실제 사용자의 클릭율이 저조하다는 문제를 발견했다.

 

 

오늘의 추천 템플릿

위 현상으로 인해 생기는 영향/결과는

• 신규 템플릿 추천시 추천한 템플릿을 사용자가 좋아할지 말지 모른다.
• 새로운 템플릿 제작시, 사용율을 예측하는 데 어려움이 있다.

그렇다면 왜 오늘의 추천 템플릿의 클릭율이 저조할까? 이 원인을 좀 더 구체적으로 파고들어 본다면

• 사용자 선호도 및 행동 데이터 부재 또는 미활용
  • '어떤 사용자가 어떤 템플릿을 클릭하고, 저장하고, 실제로 사용하는지'에 대한 개별 사용자 수준의 데이터 수집 및 분석 시스템이 부재하거나, 해당 데이터가 존재하더라도 추천 로직에 활용되지 못할 수 있다.
  • 사용자의 과거 행동 이력(찜하기, 검색어, 작업 이력 등)을 기반으로 개인화된 추천을 할 수 있는 시스템적 기반이 없을 수 있다.
• 수동 추천의 한계 (사람의 직관 vs. 데이터 기반 분석)
  • 직관이나 소수의 인기 템플릿에 의존할 수 있다.
  • 특정 템플릿을 '오늘의 추천'으로 선정했을 때, 그 템플릿이 왜 잘 될 것인지에 대한 데이터 기반의 명확한 근거 없이 의사결정이 없을 수 있다.

가장 큰 원인은 클릭율 저조의 이유를 사용자 선호도 및 행동데이터 미활용으로 잡았다. 문제를 발견하고 정의할때는 단순히 지표가 떨어졌네? 를 문제 삼지 말고 조금 더 파고 들어서 어디에서 떨어졌을까? 처럼 "퍼널 분석"을 하면 다양한 원인을 더 찾을 수 있다. 떨어졌다면 반대로 클릭은 한 사람은 누구인지? 하지 않은 사람은 누구인지? 지난주에는 시기적으로 어떤 일이 있었나?(ex. 프로모션) 등등 왜? 라는 꼬리를 계속 물고 문제를 정의 가능하다.

2. 가설 수립 (문제를 해결하기 위해 예상하는 답)

가설을 수립할때는 단편적인 가설 설정보다 가설의 근거를 수립해야한다(= 사용자 선호도와 행동데이터 활용하지 않는다)

• 만약 미리디 사용자 행동 데이터(클릭, 저장, 검색, 찜하기 이력 등)를 기반으로 사용자 개인의 취향과 선호도를 분석하고 예측하는 '개인화된 템플릿 추천 모듈'을 구축한다면, 팀은 이를 활용하여 '오늘의 추천' 영역에 수동으로 지정하는 대신 사용자별 맞춤 템플릿을 자동으로 노출함으로써, '오늘의 추천' 영역의 평균 클릭률(CTR)을 15% 이상 향상시킬 수 있을 것이다

3. 목표설정! OKR 

목표 (Objective)는 "미리캔버스 '오늘의 추천' 영역의 템플릿 추천 정확도를 극대화하여 사용자 개인의 만족도와 서비스 내 콘텐츠 활용도를 향상시킨다" 로 정의하였다. 수동 추천의 한계를 극복하고, 사용자 행동 데이터를 기반으로 개인화된 추천을 제공함으로써 사용자가 '나에게 맞는' 콘텐츠를 더 쉽게 발견하고 활용하게 하는 것이 목표이다. 이는 궁극적으로 사용자 경험 개선과 서비스 활성화에 기여한다.

핵심 결과 (Key Results)

• KR1: '개인화된 템플릿 추천 모듈' 도입 후, '오늘의 추천' 영역의 평균 클릭율(CTR)을 기존 대비 15% 이상 증가시킨다.
  • 측정 방법: 모듈 도입 전후의 '오늘의 추천' 영역 노출 수 대비 클릭 수를 측정하여 비교한다. (예: 도입 후 3개월간의 평균 CTR)
• KR2: '오늘의 추천' 영역을 통해 노출된 템플릿의 '저장' 전환율을 기존 대비 7%p 향상시킨다.
  • 측정 방법: '오늘의 추천' 영역을 통해 클릭된 템플릿 중, 실제로 미리캔버스 편집기에서 작업하여 '저장'까지 완료된 비율을 측정한다. (예: 도입 후 3개월간의 평균 전환율)
  • 단순 클릭을 넘어, 추천된 템플릿이 사용자에게 얼마나 유용하고 만족스러웠는지, 즉 실질적인 콘텐츠 활용으로 이어졌는지를 보여주는 중요한 지표라고 생각한다.

KPI (Key Performance Indicator): OKR 달성을 위해 지속적으로 모니터링하고 관리해야 할 핵심 성과 지표들

• 전체 추천 영역 평균 클릭률
  • '오늘의 추천' 외 미리캔버스 내 모든 추천 영역(예: 홈 화면의 다른 추천 섹션, 에디터 내 관련 템플릿/요소 추천 등)의 평균 클릭율
  • KR1 이 '오늘의 추천' 영역에 집중한다면, 이 KPI는 개인화 추천 모듈이 장기적으로 서비스 전반의 추천 효율성에 기여하는지를 보여줄 수 있다
• '오늘의 추천' 템플릿 기반 결과물 생성률
  • '오늘의 추천' 영역을 통해 노출되고 클릭된 템플릿 중, 사용자가 실제로 편집을 완료하고 저장/다운로드/공유/인쇄 등 최종 결과물을 생성한 비율
  • KR2 에 집중하다보면 장기적으로 사용자가 추천 템플릿을 통해 만족스러운 결과물을 만들었다면, 서비스에 대한 충성도와 재방문율도 자연스럽게 높아질 수 있다

4. 액션 수립

문제정의 -> 가설 -> 목표지표 설정을 한 후에는 PM으로서 팀원들에게 일감을 나눠주어야 한다. 크게 2가지 덩어리로 1) 데이터 수집 및 분석 환경 고도화 2) 개인화된 템플릿 추천 모듈 설계 및 개발로 나누었다. 이 액션이 나오기전에 충분히 개발팀과 개발 가능을 논의 했다고 가정하자.

액션 1. 데이터 수집 및 분석 환경 고도화

• 액션 1-1: 핵심 사용자 행동 데이터 정의 및 수집 시스템 점검 및 없다면 구축
  • 가설에서 언급된 '클릭, 저장, 검색, 찜하기 이력' 외에도 편집 상세 내역, 사용 기기 등 개인화 추천에 필요한 모든 데이터를 정의하고, 누락 없이 정확하게 수집되는지 확인한다.
  • 필요시 데이터 수집 파이프라인을 개선하거나 신규 구축한다

• 액션 1-2: 데이터 클렌징 및 정규화
  • 수집된 데이터의 품질을 검증하고, 추천 시스템 학습에 적합한 형태로 클렌징(오류 제거) 및 정규화(표준화) 작업을 수행한다.
• 액션 1-3: 기존 '오늘의 추천' 성과 데이터 분석 (Baseline 설정)
  • 개인화 추천 모듈 도입 전, 현재 수동으로 운영되는 '오늘의 추천' 영역의 평균 CTR을 포함한 모든 관련 지표(저장 전환율, 노출 수, 클릭 수 등)를 정확히 측정하여 베이스라인(기준선)을 설정하여 향후 성과 비교의 기준을 만들어 놓는다.

액션 2. '개인화된 템플릿 추천 모듈' 설계 및 개발

• 액션 2-1: 추천 알고리즘 선정 및 설계
  • 사용자 행동 데이터의 특성과 미리캔버스 서비스의 목적에 가장 적합한 추천 알고리즘(예: 협업 필터링, 콘텐츠 기반 필터링, 하이브리드 추천 등)을 선정하고 상세 설계를 진행한다. (AI 기반 추천 시스템을 도입할 경우, 머신러닝 모델 아키텍처 설계 포함)
• 액션 2-2: 추천 모듈 개발 및 데이터 대시보드 연동
  • 선정된 알고리즘을 기반으로 '개인화된 템플릿 추천 모듈'을 개발한다.
  • 개발된 모듈이 기존 내부 데이터 대시보드와 연동되어, 콘텐츠 팀이 추천 결과를 모니터하게 한다.
• 액션 2-3: 추천 결과 자동 노출 시스템 구현
  • '오늘의 추천' 영역에 수동 지정 대신, 개발된 추천 모듈이 사용자별 맞춤 템플릿을 자동으로 선정하여 노출할 수 있는 시스템을 구현다.

사실 "오늘의 추천" 영역에 대한 데이터 수집 및 개인화 추천 기능 개발은 당장의 화면 내 영향력 대비 초기 개발 범위가 크게 느껴질 수 있다. 하지만, 이러한 가설이 성공적으로 검증된다면, 그 효과는 '오늘의 추천'이라는 특정 영역에 국한되지 않고 미리캔버스 전체 서비스로 확장될 수 있다.

궁극적으로, 사용자 행동 데이터 기반의 개인화 추천 시스템은 모든 템플릿 선택 접점에서 사용자에게 더욱 관련성 높고 선호도 높은 템플릿을 제시할 수 있고 이는 사용자가 원하는 템플릿을 더 쉽고 빠르게 찾아 활용하도록 돕고, 결과적으로 미리캔버스 내 템플릿의 전반적인 활용도를 극대화하며 사용자 만족도를 크게 높일 수 있을 것으로 본다.

5. 가설 검증

이제는 검증하는 차례이다. 가설을 검증하는 방법에도 여러가지가 존재한다.

1. A/B 테스트으로 두 가지 이상의 옵션을 비교해 어떤 것이 더 나은지 데이터를 통해 확인할 수 있고(대신 많은 사용자와 시간이 필요/두 가지 버전 중 어떤게 더 좋은지 알고 싶을때 사용)
2. 사용자 인터뷰는 유저의 숨겨진 니즈와 아이디어를 파악하는 데 유용하며, 주로 초기 기획 단계에서 활용된다.
3. 유저 테스트는 사용자가 실제로 제품을 사용하는 모습을 관찰해 문제점을 발견하는 데 효과적이다.
4. 오픈 후 결과 데이터 분석은 기능 출시 후 실제 데이터를 기반으로 문제를 빠르게 파악할 수 있는 저비용 방법이지만, 상황별 맥락 이해에는 한계가 있다. 수치가 낮은데 그 이유를 파악하기 어렵다는 이야기 인데 이것은 유저 인터뷰나 유저 테스트를 해야 맥락을 파악할 수있다.

4가지 방법중에 가장 빠르고 효율적으로 가설 검증을 진행할 수 있는건 오픈 후 결과 데이터 분석이다. 그 이후에 더 깊은 이해과 맥락이 필요하다면 A/B 테스트, 사용자 인터뷰, 유저테스트를 활용할 수 있을것 같다. 중요한것은 가설을 제대로 검증할 수 있는 측정 가능한 지표를 설정해야 하는것이고 이 목표는 상위 목표인 OKR 과 연결 되어야 의미가 있다. 

나는 여기서 베타환경 A/B 테스트로 진행하고 이후 성과 지표를 분석한 후에 사용자 피드백을 수집하여 좀 더 사용자 경험의 만족도를 심층적으로 이해하려고 한다

검증방법

• A/B 테스트 설계 및 실행
  
  • A 그룹 (대조군): 기존 수동 추천 방식 유지
  • B 그룹 (실험군): 개인화된 템플릿 추천 모듈 적용
  • 일정 기간(예: 2주~1개월) 동안 테스트를 실행하여 충분한 데이터를 확보
• 성과 지표 측정 및 분석
  • A/B 테스트 기간 동안 A, B 두 그룹의 '오늘의 추천' 영역 CTR, '편집 후 저장' 전환율, 사용자 만족도(설문 등) 등 핵심 OKR 및 KPI 지표를 면밀히 측정하고 분석한다.
  • 가설에서 제시된 'CTR 15% 이상 향상' 목표 달성 여부를 중점적으로 확인한다.
• 사용자 피드백 수집 및 분석
  • 테스트 기간 중 사용자 인터뷰, 설문조사 등을 통해 개인화 추천에 대한 정성적인 피드백을 수집하여, 데이터만으로는 파악하기 어려운 사용자 경험과 만족도를 심층적으로 이해한다

이렇게 가설을 검증 후에 예상대로 흘러갈 수도 있지만 예상과 다르게 결과가 좋지 않을 수도 있다. 물론 결과도 중요하지만 실패를 통해 인사이트를 얻는것이 중요하다. 오히려 검증 자체가 불가능한 경우가 안타까운 경우라서 결과가 나쁘더라도 다시 검증하면서 반복적으로 개선해 나가면 된다.

평가 및 개선 (반복)

• 가설 검증 및 결과 평가
  • 수집된 데이터를 바탕으로 가설의 성공 여부를 최종적으로 평가한다. CTR 향상 목표 달성 여부 및 다른 지표들의 변화를 종합적으로 분석한다.
• 개선점 도출 및 모듈 고도화
  • 테스트 결과와 사용자 피드백을 바탕으로 추천 알고리즘, 데이터 처리 방식, 대시보드 기능 등 개선이 필요한 부분을 도출하고, 모듈을 지속적으로 고도화한다.
  • 이는 개인화 추천 시스템이 끊임없이 학습하고 발전하는 순환 구조를 만든다.

 

오늘은 단순히 기능 하나를 개발하는 것을 넘어, 사용자의 숨겨진 니즈를 발굴하고, 데이터 기반의 명확한 가설을 수립하며, 측정 가능한 목표를 설정하여 실제 비즈니스 임팩트를 만들어내는 PM의 핵심 역량에 대해 경험해 보았다. 미리캔버스라는 친숙한 서비스를 통해, 이론적인 프레임워크가 실제 프로덕트 환경에서 어떻게 적용되고 구체적인 결과로 이어지는지 직접 작성해 봄으로써 PM 이라는 업무에 한 걸음더 가까워 진 것 같다.