인사이트리포트 | 삼성SDS
[GPU 똑똑하게 쓰기 (3)] 마지막 퍼즐, 남는 GPU를 만들고 채우다 – Bin Packing과 Batch Inference
AI 엔지니어링 브리핑
이 글은 흩어진 GPU를 한곳에 모아 대규모 학습 공간을 만들고, 급하지 않은 추론은 남는 시간에 처리해 하나의 GPU 자원을 하루 종일 효율적으로 쓰는 방법을 설명합니다.
문제 & 배경
- 문제 & 배경: 서빙 인스턴스를 여러 노드에 고르게 배치하면 전체적으로 남는 GPU 수는 충분해도 한 노드의 GPU를 통째로 써야 하는 대규모 학습이 들어갈 자리가 없어지고, 학습 수요가 없을 때는 남는 GPU가 다시 놀게 됩니다.
기술 & 해결책
- 기술 & 해결책: GPU가 많이 사용 중인 노드부터 워크로드를 채우고 줄일 때는 나중에 배치된 인스턴스부터 제거하는 Bin Packing을 적용해 빈 노드를 만들며, 즉시 응답이 필요 없는 요청은 Batch Inference로 모아 실시간 추론의 남은 처리 여유에서 낮은 우선순위로 처리합니다.
교훈 & 주의점
- 교훈 & 주의점: 실시간 추론을 항상 우선하고 장애 영향 범위와 학습 중단 손실을 고려해 집중 배치 대상을 구분해야 하며, 배치 추론이 서빙의 여유를 모두 차지하지 않도록 유량을 조절해야 GPU Pool을 안정적으로 함께 사용할 수 있습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.