tech.inflab.com · 2025. 04. 22.

EKS Bottlerocket에서 이미지 캐싱으로 Pull 시간 줄이기

AI 엔지니어링 브리핑

대용량 컨테이너 이미지를 미리 저장한 EBS 스냅샷을 EKS 노드에 연결해 이미지 다운로드 시간을 크게 줄이고 비용을 절감한 방법을 소개합니다.

문제 & 배경

문제 & 배경: ML·데이터 처리 파이프라인에서 수 GB급 이미지를 매번 내려받고 압축 해제하느라 최대 15분이 걸렸고, 특히 노드가 자주 교체되는 Spot 인스턴스에서 컴퓨팅·네트워크 자원이 낭비되었습니다.

기술 & 해결책

기술 & 해결책: Bottlerocket의 운영체제와 컨테이너 데이터를 분리하는 구조를 활용해 미리 이미지를 받은 데이터 볼륨의 EBS 스냅샷을 만들고, Karpenter가 새 노드를 만들 때 그 스냅샷을 연결하도록 구성해 이미지를 캐시된 상태로 실행했습니다.

교훈 & 주의점

교훈 & 주의점: 이미지 pull 시간은 10초 이내로 줄고 관련 비용도 70% 이상 절감됐지만, 스냅샷 볼륨은 처음 데이터를 읽을 때 지연될 수 있으므로 작업 특성에 따라 볼륨의 IOPS·처리량을 높이거나 초기 로딩 시간을 기다리는 등 비용과 성능을 함께 비교해야 합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.