tech.inflab.com · 2025. 08. 28.
EKS Bottlerocket AMI에서 DCGM 오류로 GPU 노드 반복 교체 문제 해결기
AI 엔지니어링 브리핑
EKS의 Bottlerocket GPU 노드에서 DCGM 라이브러리가 빠져 자동 복구 기능이 노드를 계속 교체하던 문제를 분석하고, Node Auto-Repair를 끄는 방식으로 우회한 사례입니다.
문제 & 배경
GPU 노드는 정상적으로 준비된 뒤 약 10~11분 후 비정상 상태로 판단되어 반복 교체됐고, 그 결과 GPU 작업 Pod도 계속 재시작됐습니다.
기술 & 해결책
Bottlerocket에 NVIDIA DCGM의 libdcgm.so가 없어 GPU 상태 확인 조건인 AcceleratedHardwareReady가 False가 되었으며, Karpenter의 Node Auto-Repair가 이를 고장 난 노드로 보고 유예 시간 후 교체했습니다.
교훈 & 주의점
근본적으로는 DCGM 라이브러리를 포함한 환경이나 다른 AMI를 검토해야 하지만, 현재는 기존 환경 변경을 줄이기 위해 Karpenter의 Node Auto-Repair를 비활성화하는 방식으로 문제를 피했습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.