스캐터랩 블로그 · 2023. 02. 20.
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙
AI 엔지니어링 브리핑
빠르게 바뀌는 대화 모델을 안전하게 실험하고 배포하기 위해, 모델 처리 과정을 분리하고 ArgoCD로 전체 인프라를 자동 운영한 구조를 소개한 글입니다.
문제 & 배경
- 문제 & 배경: 모델 구조가 자주 바뀌고 A/B 테스트도 필요했지만, 여러 모델 서버가 연결된 복잡한 인프라를 매번 직접 배포하고 중단 없이 업데이트하기가 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: 모델 파이프라인 서버가 여러 모델 서버와 필요한 서비스를 순서대로 연결해 최종 답변을 만들도록 추상화하고, Helm으로 배포 구성을 묶은 뒤 ArgoCD의 App of Apps, 배포 순서 제어, 블루/그린 배포와 A/B Proxy를 활용해 실험군별 인프라를 한 번에 배포·전환했습니다.
교훈 & 주의점
- 교훈 & 주의점: 상위 서버부터 안전하게 종료하고 추론 구조가 바뀔 때는 롤링 업데이트 대신 블루/그린 배포를 사용해야 하며, 요청량 기반 자동 확장과 모니터링으로 실험 규모에 맞는 안정성과 비용 효율을 함께 확보해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.