38일차[숙련 과제 피드백]

0. 장바구니 전환율 숙련 과제 피드백

[논리적인 페르소나 추출 및 선정] 페르소나 b 추출 조건에서 평균 대신 중간값을 사용한 이유까지 명시했어요. 장기 체류 극단값이 평균을 왜곡한다는 판단 근거 또한 타당해요. 페르소나 선택 근거도 다른 페르소나를 선택하지 않은 이유와 함께 서술해서 탄탄한 논리를 쌓았어요. [명확하고 이해하기 쉬운 가설] 가설 부분을 데이터근거, 타겟조건, 제외조건(Or주의사항) 3가지 구조로 정리돼어 가설의 설정 근거와 타겟이 한눈에 명확하게 이해돼요.

[분석과 개선안과 연결되는 논리] 검색 유입 + 할인 노출/미노출간의 격차가 가설1의 직접 근거가 되고, 이 분석이 해결안 (랜덤쿠폰 배너)로 연결되는 흐름이 깔끔해요.

[디테일한 세그먼트 분석을 통한 핵심 변수 발견] "전체 평균만 보면 할인 효과가 없는 것처럼 보이지만 세분화하면 완전히 다른 양상"이라는 통찰이 이 과제의 핵심 차별화 포인트에요. 전체 +0.7%p를 보고 할인은 효과 없다고 결론 내리는 대신, 변수 교차 분석으로 +17.2%p 구간을 발굴해서 의미있는 인사이트를 냈어요.

[보완점] 가설3에서 '리뷰 클릭 시 전환율 하락' 을 제시했는데, 현재 데이터만으로는 리뷰를 봐서 망설인건지, 원래 망설이던 유저가 리뷰를 본 건지 알 수 없어요. 원래 망설이고 있던 건지를 확인하기 위해 체류시간도 함께 분석되었다면 더 논리적으로 탄탄한 가설이 될 수 있겠습니다.

1. 리뷰를 봐서 망설인 걸까, 망설여서 리뷰를 본 걸까

PM 숙련과제로 작성한 장바구니 전환율 개선 보고서에 피드백을 받았다. 가설 중 하나가 *"리뷰 클릭 시 전환율이 떨어진다 → 리뷰 탐색이 망설임으로 이어진다"*는 거였는데, 리뷰어의 지적은 한 줄이었다.

"현재 데이터만으로는 리뷰를 봐서 망설인 건지, 원래 망설이던 유저가 리뷰를 본 건지 알 수 없어요."

읽는 순간 알았다. 상관관계를 인과관계처럼 써놨구나.

같은 데이터, 두 가지 해석

내가 쓴 가설은 이런 흐름이었다.

리뷰 클릭 → 망설임 → 전환율 하락 (39.4% → 29.1%)

하지만 같은 숫자로 이렇게도 읽힌다.

원래 망설이던 유저 → 리뷰 클릭 → 어차피 전환율 낮음

전자는 리뷰 클릭이 원인이고, 후자는 리뷰 클릭이 결과 또는 동반 행동일 뿐이다. 해결방안 설계에 결정적인 차이다. 후자가 맞다면 "리뷰 클릭 시 쿠폰 노출"이라는 내가 짠 개입은 틀렸다.

어떻게 구분하지? — 제3의 변수로 통제하기

두 해석을 나누는 단서는 "원래 망설이던 유저인지"를 가늠할 변수다. 망설이는 유저라면 PDP에 더 오래 머물렀을 거다.

즉, 체류시간을 보면 된다. 다시 분석해보니 흥미로운 결과가 나왔다.

• 리뷰 클릭 그룹 평균 체류: 26.0초
• 리뷰 미클릭 그룹 평균 체류: 25.6초
• 차이: 0.4초 (p=0.58, 통계적으로 사실상 동일)

체류시간이 거의 같은데 전환율 격차가 -10%p? "원래부터 망설이던 유저였다"는 해석은 데이터로 지지되지 않았다. 체류 구간을 더 잘게 쪼개서 비교해도(16~25초, 26~33초) 격차는 일관되게 -9~-10%p로 유지됐다.

그렇다고 "원인"이라고는 말할 수 없다

여기서 한 번 더 배웠다. 대안 설명 하나를 통제했다고 해서 인과가 증명되는 건 아니다. 다른 변수가 작용하고 있을 수도 있고, 진짜 인과를 확인하려면 시점 데이터(리뷰 클릭이 먼저인지 장바구니 클릭이 먼저인지)나 실험이 필요하다.

그래서 가설 문장도 바꿨다.

• 수정 전: "리뷰 탐색이 망설임으로 이어지는 패턴"
• 수정 후: "리뷰 클릭이 이탈과 동반되는 행동 신호 (인과 방향은 미검증)"

"이어진다"와 "동반된다"는 한 단어 차이지만, 데이터가 보장할 수 있는 범위가 완전히 다르다.

오늘의 체크리스트

데이터로 가설을 쓰기 전에 스스로 물어볼 네 가지를 정리해뒀다.

1. 'A 때문에 B'라고 쓰기 전에, 'B 때문에 A'도 가능한지 의심하기. 두 해석이 모두 가능하면 그건 상관관계지 인과관계가 아니다.
2. 대안 해석을 무력화할 수 있는 제3의 변수를 찾아 통제해보기. 이번엔 체류시간이 그 역할을 했다.
3. 언어를 데이터 수준에 맞추기. "원인"이라고 쓸지 "신호"라고 쓸지가 가설의 신뢰도를 결정한다.
4. 확정할 수 없는 건 Open Questions에 남기기. 모르는 걸 모른다고 적는 것도 분석의 일부다.

데이터는 친절하지 않다. 같은 숫자가 정반대의 이야기를 동시에 한다. 그 사이를 비집고 들어가는 게 분석가의 일이라는 걸, 한 줄짜리 피드백으로 다시 배웠다.

 

2. AI 도구는 골라 써야 한다 — Gems와 NotebookLM

오늘 또 하나 알게 된 건, 내가 그동안 너무 좁게 AI를 써왔다는 사실이다. ChatGPT와 Claude만 번갈아 쓰면서 "AI 활용 잘하고 있다"고 생각했는데, Gemini의 Gems와 NotebookLM을 처음 접하고 나서 생각이 바뀌었다.

Gems는 Gemini 안에서 만들 수 있는 커스텀 어시스턴트다. 자주 반복하는 작업의 맥락과 지시문을 미리 세팅해두면, 매번 프롬프트를 새로 짤 필요가 없다. PM 업무로 치면 "회의록을 액션 아이템 중심으로 요약하는 Gem", "PRD 초안을 정해진 템플릿으로 잡아주는 Gem"처럼 작업별로 전용 도우미를 만들어 두는 식이다.

NotebookLM은 더 흥미로웠다. 사용자가 업로드한 자료(PDF, 문서, 영상 등) 안에서만 답을 찾는 도구라, 사용자 인터뷰 녹취록이나 리서치 보고서를 한 번에 넣고 "공통 페인 포인트가 뭐였지?", "이 표현이 나온 인터뷰가 어디였지?" 같은 질문을 던지기 좋다. 출처도 같이 보여주니 인용 신뢰도까지 잡힌다. 사용자 리서치 단계에서 정말 유용할 것 같다.

그동안 ChatGPT나 Claude 한두 개에 몰아서 썼던 게 살짝 부끄러웠다. 작업 종류에 따라 도구를 가려 쓰는 것 — 글쓰기·코드는 Claude나 ChatGPT, 반복 작업 자동화는 Gems, 자료 기반 리서치는 NotebookLM — 이게 훨씬 효율적인 접근이라는 걸 오늘 배웠다.