NAVER D2 · 2026. 08. 11.
우리 팀만의 vLLM 플러그인 만들기 1편 - 검색 AI 모델 서빙 성능 극대화하기
AI 엔지니어링 브리핑
검색·추천 모델의 성능을 높이기 위해 모델 자체보다 추론 전후의 복잡한 요청 경로와 실행 환경을 vLLM 기반으로 통합한 과정을 설명합니다.
문제 & 배경
- 문제 & 배경: 기존에는 요청이 여러 서비스와 네트워크 구간을 거치면서 직렬화, 잦은 왕복, 작은 배치, 분산된 전처리·후처리 때문에 모델의 실제 계산보다 주변 경로에서 지연과 운영 복잡성이 커졌습니다.
기술 & 해결책
- 기술 & 해결책: 감성 분석·재순위화·이미지 랭킹 모델을 vLLM의 풀링 런타임에서 실행하는 사용자 정의 모델로 만들고, 전처리와 후처리를 IO Processor 안에 넣어 요청 경로를 줄인 뒤 공통 플러그인으로 배포했습니다.
교훈 & 주의점
- 교훈 & 주의점: 성능 개선은 모델 코드를 바꾸는 것만으로 해결되지 않으며, 모델 실행 환경과 입출력 경로를 함께 최적화해야 큰 효과를 얻고, 모델별 인스턴스는 유지하되 런타임·배포 방식을 표준화하는 것이 중요합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.