Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기

기존 Oozie와 Sqoop 환경은 XML을 일일이 수정해야 하고 모니터링이 불편했으며, 지원이 끝난 Sqoop과 분할이 어려운 Text+Gzip 포맷 때문에 입수 성능과 파일 관리에도 한계가 있었습니다.

Airflow에서 공통·개별 설정을 YAML로 나누어 파이프라인을 자동 생성하고, Spark가 테이블 크기에 따라 단일 또는 병렬 추출을 선택한 뒤 Parquet+Snappy 형식으로 데이터를 정렬·저장하도록 구성했습니다.

실제 환경에서 입수 시간이 최대 70.4% 줄고 조회 시간이 최대 약 66.7배 단축되었지만, 테이블별 데이터 분포와 인덱스에 따라 효과가 달라지므로 파티션 키와 파일 크기를 계속 측정하고 개선할 수 있는 구조로 운영해야 합니다.