네이버 플레이스 개발 블로그 - Medium · 2023. 04. 06.
MinIO 도입기— HA 이해 및 DR 전략 구성
AI 엔지니어링 브리핑
머신러닝에 필요한 중요한 데이터를 안정적으로 보관하고 장애나 재해가 발생해도 복구할 수 있도록 MinIO 기반 저장소와 백업·복구 전략을 구성한 경험을 소개합니다.
문제 & 배경
- 문제 & 배경: 기존에는 학습 데이터와 모델 파일을 CephFS로 많은 Kubernetes Pod에 연결해 사용했는데, 과도한 동시 사용으로 장애가 발생하고 서빙에 필요한 파일에 접근하지 못해 서비스 중단으로 이어져 더 안정적인 보관 방식이 필요했습니다.
기술 & 해결책
- 기술 & 해결책: DVC와 MLflow 등이 공통으로 사용할 수 있는 S3 방식의 저장소로 분산형 MinIO를 Kubernetes 환경에 구축하고, 드라이브·노드·데이터센터 장애를 나누어 MinIO의 장애 대응과 별도 백업·재해복구 방안을 함께 검토했습니다.
교훈 & 주의점
- 교훈 & 주의점: 저장소의 자체 장애 대응만 믿지 말고 데이터 중요도와 서비스 영향에 따라 장애 수준별 대응 절차와 데이터센터 장애까지 고려한 백업·복구 계획을 마련해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.