NAVER D2 · 2026. 08. 11.

우리 팀만의 vLLM 플러그인 만들기 2편 - 모델 변환부터 배포까지 AI-native로 자동화하기

AI 엔지니어링 브리핑

Hugging Face 모델을 vLLM에서 안정적으로 실행하고 배포하기 위해, 모델 변환부터 PR과 운영 배포까지의 과정을 AI 에이전트 기반 자동화 절차로 만든 경험을 소개합니다.

문제 & 배경

문제 & 배경: 모델 구조와 vLLM 실행 방식이 달라 변환에 서로 다른 전문 지식이 필요했고, vLLM도 빠르게 바뀌어 모델마다 반복 작업과 유지보수가 큰 부담이었습니다.

기술 & 해결책

기술 & 해결책: Claude Code Skill에 환경 설정, 모델 구조 분석, vLLM용 코드 작성과 검증 등의 단계를 정의해 Hugging Face 모델 경로만 입력하면 변환 과정을 거쳐 PR 생성까지 자동으로 진행하도록 구성했습니다.

교훈 & 주의점

교훈 & 주의점: 서로 다른 모델 7개를 같은 절차로 운영에 적용하고 변환 주의 사항 45개를 재사용 가능한 지식으로 축적했으며, 필요한 지식만 불러오도록 개선해 호출당 토큰 사용량을 6,900개에서 170개로 줄였습니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.