CLOVA · 2026. 07. 16.
대화는 순서를 기다리지 않는다: 실시간 음성 대화 AI를 위한 데이터 파이프라인 ‘Sommelier’
AI 엔지니어링 브리핑
Sommelier는 사람이 대화 중 자연스럽게 맞장구치고 끼어드는 순간까지 보존해 실시간 음성 대화 AI가 더 자연스럽게 반응하도록 학습 데이터를 만드는 파이프라인입니다.
문제 & 배경
- 문제 & 배경: 기존 음성 AI와 전처리 방식은 한 사람이 말을 끝낸 뒤 차례로 답하는 상황을 중심으로 만들어져, 대화 중 맞장구·끼어들기·겹쳐 말하기 같은 실제 상호작용을 학습하기 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: Sommelier는 음성이 있는 구간과 화자를 시간순으로 구분하고, 겹친 목소리는 화자별로 복원하며, 여러 음성 인식 결과를 비교해 오류가 적은 텍스트를 남겨 자연스러운 대화 흐름을 학습 데이터에 보존했습니다.
교훈 & 주의점
- 교훈 & 주의점: 대화의 복잡함을 잡음으로 지우기보다 학습에 필요한 신호로 다뤄야 하며, 실제로 이 데이터로 학습한 모델은 맞장구·턴 전환·끼어들기 대응이 개선되었습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.