tech.inflab.com · 2026. 09. 09.
사내 LLM 요청을 한곳으로 모은 AI Gateway 구축기
AI 엔지니어링 브리핑
빠르게 바뀌는 LLM 모델과 흩어진 비용·사용량 관리를 해결하기 위해, 모든 사내 LLM 요청을 한곳에서 통제하는 AI Gateway를 구축한 경험을 소개합니다.
문제 & 배경
- 문제 & 배경: 30곳이 넘는 서비스가 각자 LLM 업체를 호출하면서 모델 교체와 장애 대응이 반복되고, API 키와 사용량·비용이 흩어져 관리와 원인 파악이 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: Envoy AI Gateway를 중앙에 두고 서비스에는 실제 모델명 대신 low·medium·high 등급만 제공했으며, 게이트웨이가 등급을 실제 모델로 바꾸고 여러 업체 간 우선순위·재시도·fallback과 서비스별 사용량 추적을 처리했습니다.
교훈 & 주의점
- 교훈 & 주의점: 중앙 라우팅과 세분화된 사용량 관측으로 모델 교체를 한 번에 적용하고 LLM 비용을 최고치 대비 약 78% 줄였지만, 모델 변경 전 품질 테스트를 자동화하고 중앙 통제로 개별 기능의 선택 자유가 줄어드는 점을 고려해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.