Hyperconnect Tech Blog · 2025. 11. 28.
왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기
AI 엔지니어링 브리핑
머신러닝 모델의 성능 점수만 높이는 것이 아니라 실제 서비스 성과로 이어지도록 문제를 정의하고, 데이터·학습·평가·실험을 비즈니스 목표에 맞게 설계한 사례를 설명합니다.
문제 & 배경
- 문제 & 배경: 아이템마다 여러 대표 속성 중 전환율이 높은 것을 골라야 했지만, 단순히 관찰된 속성별 전환율을 학습하면 추천 로직이나 유저·아이템 구성 차이 같은 요인 때문에 실제로 좋은 속성을 잘못 판단할 수 있었습니다.
기술 & 해결책
- 기술 & 해결책: 속성을 무작위로 노출한 데이터를 활용해 같은 아이템 안에서 속성끼리 전환율을 비교하도록 순위 학습 모델을 만들고, 모델 선택과 기존 선택의 평균 전환율 상승폭을 오프라인에서 측정한 뒤 온라인 A/B 테스트로 검증했습니다.
교훈 & 주의점
- 교훈 & 주의점: 모델 정확도나 단순 순위 점수보다 실제 비즈니스 지표와 연결된 평균 전환율 상승폭을 봐야 하며, 관찰 데이터의 잡음과 숨은 영향 요인을 고려하되 오프라인 결과는 온라인 실험을 대신할 수 없는 참고값으로 활용해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.