Apache Spark(스파크) 기술 블로그 최신 글
Apache Spark(스파크)를 활용한 대규모 데이터 처리와 분석 파이프라인 사례를 다룬 회사 기술 블로그 글입니다.
Apache Spark 관련 최신 기술 블로그 글
Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기
대규모 데이터 인프라 환경에서 안정적이고 빠른 데이터 입수는 하위 분석 작업과 비즈니스 의사결정의 중요한 초석이라고 생각합니다. 기존 인프라에서는 1,200여 개의 데이터 파이프라인이 Oozie XML을 통해 관리되고, 데이터 입수 도구로 Sqoop…
SK플래닛 TECH TOPIC2026년 9월 17일Spark Connect on Kubernetes #1: 견고한 Spark Connect 만들기
Spark Connect 서버에 세션이 몰리면, 무거운 작업이 다른 사용자까지 느리게 만들고 그 서버가 죽는 순간 모두가 실패합니다. 이 문제들을 어떻게 풀었는지 공유합니다.
토스 기술 블로그, 토스 테크2026년 6월 19일LINE 서비스의 대규모 광고 데이터를 처리하기 위한 Spark on Kubernetes 적용기
들어가며안녕하세요, LINE 서비스의 광고 시스템에서 데이터 파이프라인과 데이터 플랫폼 운영을 담당하고 있는 박민재, 손정호, 정창권입니다.LINE 광고 플랫폼(이하 LINE Ad...
LY Corporation Tech Blog2026년 3월 31일실시간 파생 데이터 생성 : Kafka + Spark로 하루를 앞당기다
SK플래닛의 Hadoop 기반 Data Integration Cluster(이하 DIC)는 서비스의 다양한 데이터를 수집하고 분석하는 데 사용합니다. 데이터의 분석을 수행할 때는 새로운 정보나 인사이트를 위해 다른 테이블과의 조인 및 변환을 통해 파생 데이터를 생성하며, 파생 데이터를 생성하는 여러 방법 중 Hive Query…
SK플래닛 TECH TOPIC2024년 10월 23일점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
안녕하세요, 뱅크샐러드 Core Infra 팀의 Data engineer 김문수 입니다. 점점 커지는 이력성 데이터를 MySQL에서 더 저렴한 저장소인 S3로 옮기면서도, 서비스에서 호출할 때 딱 필요한 데이터만 읽을 수 있도록 bucketing…
뱅크샐러드 공식 블로그 | 메인2023년 6월 8일분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
이번 글에서는 분석 테이블을 API로 만들 수 있는 데이터서빙 서비스를 만들었던 과정을 소개 드리겠습니다. 뱅크샐러드에서는 S3, Airflow, Spark…
뱅크샐러드 공식 블로그 | 메인2023년 6월 7일