LY Corporation Tech Blog · 2026. 03. 31.
LINE 서비스의 대규모 광고 데이터를 처리하기 위한 Spark on Kubernetes 적용기
AI 엔지니어링 브리핑
LINE Ads는 Hadoop 기반 YARN의 자원 경합과 운영 한계를 해결하기 위해 Spark를 Kubernetes에서 실행하는 구조로 전환해 대규모 광고 데이터를 더 빠르고 유연하게 처리했다.
문제 & 배경
- 문제 & 배경: 광고 데이터와 연산량이 계속 늘면서 HDFS와 컴퓨팅 자원을 함께 사용하는 YARN 환경에서 성능 저하, 높은 비용, 버전·의존성 관리의 어려움이 발생했다.
기술 & 해결책
- 기술 & 해결책: Spark의 드라이버와 실행 작업을 각각 Kubernetes 파드로 운영하고, Docker 이미지에 필요한 환경을 담아 자원을 독립적으로 배치했으며, YuniKorn으로 작업에 필요한 자원을 안정적으로 확보하도록 구성했다.
교훈 & 주의점
- 교훈 & 주의점: 전환 후 스트리밍 성능은 226% 향상되고 컴퓨팅 비용은 40% 이상 줄었지만, 컨테이너 메모리 오버헤드와 파드·노드 장애, 디스크와 캐시 데이터의 소실 가능성을 환경에 맞게 점검해야 했다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.