뱅크샐러드 공식 블로그 | 메인 · 2023. 01. 05.
Spark on Kubernetes로 가자!
AI 엔지니어링 브리핑
뱅크샐러드는 EMR 기반 Spark 분석 환경의 운영 어려움을 줄이고 비용과 확장성을 개선하기 위해 Spark 작업을 자체 Kubernetes에서 실행하도록 옮겼습니다.
문제 & 배경
- 문제 & 배경: 매일 수백~천 개의 다양한 Spark 작업을 EMR과 YARN에서 운영하면서 드라이버 종료, 오토스케일링 실패와 과도한 확장, 서버 멈춤 등 여러 문제를 겪었지만 사내에 관련 전문 지식이 부족했습니다.
기술 & 해결책
- 기술 & 해결책: 기존 작업 인터페이스는 유지한 채 Spark 실행 환경만 Kubernetes로 바꾸고, Spot 인스턴스와 자동 확장, 전용 Docker 이미지, 드라이버용 서비스, Glue 연동 및 S3 전용 커밋 설정을 직접 구성해 작업이 Kubernetes에서 실행되도록 했습니다.
교훈 & 주의점
- 교훈 & 주의점: 이전 과정에서 Glue·S3 경로·파일 저장 방식처럼 관리형 서비스가 대신 처리하던 부분을 직접 점검해야 했으며, 결과적으로 피크 시간 비용을 약 45% 줄였지만 모니터링·로그 관리·리소스 최적화·Spark 버전 업그레이드는 여전히 남은 과제입니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.