스캐터랩 블로그 · 2026. 03. 11.
월 150만 유저가 사용하는 LLM Inference 인프라 안정적으로 운영하기
AI 엔지니어링 브리핑
이 글은 월 150만 명이 사용하는 LLM 서비스를 위해 GPU를 안정적으로 확보하고 트래픽 변화에 맞춰 확장할 수 있는 클라우드 인프라 운영 방법을 설명한다.
문제 & 배경
- 문제 & 배경: 기존에는 GPU 용량을 충분히 확보하기 어렵고, 여러 지역의 클러스터와 스토리지를 관리하며 장애 발생 시 대처하는 과정도 복잡해 운영 부담이 컸다.
기술 & 해결책
- 기술 & 해결책: Azure 클라우드의 여러 지역에 Kubernetes 클러스터를 만들고 Terraform으로 구성을 자동화했으며, Istio로 클러스터 간 요청을 찾아 분산하고 Karmada로 하나의 관리 체계에서 서비스와 GPU 자원을 배치했다.
교훈 & 주의점
- 교훈 & 주의점: 낮과 밤의 큰 트래픽 차이에 대응하려면 필요할 때 GPU를 늘리고 줄일 수 있는 구조가 중요하며, 모델 파일과 컨테이너 이미지는 Blob Storage와 지역 복제 기능이 있는 Container Registry를 활용해 여러 클러스터에서 안정적으로 사용해야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.