네이버 플레이스 개발 블로그 - Medium · 2023. 07. 13.
ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유
AI 엔지니어링 브리핑
GPU에서 실행하던 작은 AI 모델을 CPU 서버로 옮기면서도 서비스 품질을 유지하고, 연간 약 4억 원의 운영 비용을 줄인 경험을 소개합니다.
문제 & 배경
- 문제 & 배경: 한정된 GPU 자원을 더 큰 모델 학습과 다양한 AI 모델에 활용하려고 기존 모델을 CPU로 전환했지만, CPU에서는 서버를 3배 늘려도 GPU보다 처리량이 10배 낮고 응답 시간이 10배 느려지는 문제가 발생했습니다.
기술 & 해결책
- 기술 & 해결책: FastAPI 앱 서버가 전처리와 후처리를 맡고 TorchServe 모델 서버가 추론만 담당하는 구조에서 CPU 서버의 성능을 높이려 했지만, GPU에서 효과적이던 TorchServe 작업자 수 증가 방식은 CPU에서 오히려 처리량과 지연 시간을 악화시켰습니다.
교훈 & 주의점
- 교훈 & 주의점: GPU 환경에서 잘 작동한 설정을 CPU에 그대로 적용해서는 안 되며, 추가 서버 확장 없이 성능을 유지하려면 CPU 환경에 맞춰 작업자 수와 서버 구성을 별도로 검증해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.