비용과 성능을 한번에 - 언어 특화 토크나이저 도입기

문제 & 배경: 기존 토크나이저가 한국어와 일본어를 효율적으로 쪼개지 못해 같은 내용도 더 많은 토큰이 필요했고, 이로 인해 응답 지연과 길이 제한 문제가 발생했습니다.

기술 & 해결책: 언어별 전용 토크나이저를 만들어 모델에 이식하고 다시 학습해, 한국어와 일본어를 더 적은 토큰으로 처리하도록 개선했습니다.

교훈 & 주의점: 일본어 전용 토크나이저 적용 후 입력 토큰은 34%, 출력 토큰은 45%, 응답 지연은 52% 줄었고 GPU 사용량도 46% 감소했지만, 재생성률이 소폭 높아져 품질 검증을 함께 진행해야 했습니다.