토스 기술 블로그, 토스 테크 · 2026. 10. 27.
손가락 튕기기로 LLM 비용 줄이기
AI 엔지니어링 브리핑
모든 요청을 큰 LLM으로 처리하지 않고, 쉬운 요청은 빠르고 저렴한 소형 모델로 처리해 비용과 응답 시간을 줄이는 방법을 소개합니다.
문제 & 배경
- 문제 & 배경: 생성형 AI 사용이 늘면서 모든 요청을 비싸고 느린 LLM에 맡기는 데 따른 비용과 지연 시간이 커졌고, 요청 종류가 다양해 내재화할 작업을 고르기도 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: SNAP은 시스템 프롬프트의 앞부분을 해시해 작업을 구분하고, 비용이 큰 작업의 로그·데이터·학습 과정을 자동화한 뒤, 소형 모델의 Confidence가 기준 이상이면 그 결과를 쓰고 애매한 요청만 기존 LLM으로 넘겼습니다.
교훈 & 주의점
- 교훈 & 주의점: 전체 요청을 한 번에 바꾸기보다 품질이 검증된 일부부터 적용하면 실제 운영에서 약 33~37%의 요청을 내재화할 수 있으며, 모델의 자신감 점수와 실제 정확도를 별도로 검증해 품질 기준과 적용 범위를 정해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.