스캐터랩 블로그 · 2025. 05. 28.
매주 새로운 LLM 모델을 배포하는 제타의 AI 팀 이야기
AI 엔지니어링 브리핑
제타 AI 팀은 대화의 재미와 몰입을 높이기 위해 자체 언어 모델과 사용자 데이터를 빠르게 개선하는 방법을 소개합니다.
문제 & 배경
- 문제 & 배경: 제타의 모델은 한 번에 약 50~60턴의 대화만 처리할 수 있어 오래 대화하면 과거 맥락을 잊고 이름을 다시 묻거나 같은 상황을 반복하는 문제가 있었습니다.
기술 & 해결책
- 기술 & 해결책: 과거 대화를 주기적으로 요약해 모델의 입력에 넣고, 자체 모델이 사용자 반응과 대화 데이터를 다시 학습하도록 하여 이야기의 흐름과 ‘재미’에 맞게 모델을 계속 개선했습니다.
교훈 & 주의점
- 교훈 & 주의점: 기술 지표나 사용 시간만 좇기보다 재미와 몰입 같은 정성적 가치를 정의하고 실제 사용자 행동을 A/B 테스트로 확인하며, 한정된 자원에서는 가장 중요한 문제에 선택과 집중해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.