실시간 파생 데이터 생성 : Kafka + Spark로 하루를 앞당기다

문제 & 배경: 기존에는 원본 Hive 테이블의 데이터가 모두 들어온 뒤인 다음 날에야 조인과 변환 작업을 할 수 있어 분석과 서비스 제공이 늦어졌습니다.

기술 & 해결책: Router가 Kafka에 모인 데이터를 Spark Streaming의 작은 단위 처리 방식으로 실시간 변환하고, 기존 Hive Query를 임시 테이블처럼 재사용한 뒤 HDFS·Elasticsearch·S3 등 필요한 저장소로 전달하도록 구성했습니다.

교훈 & 주의점: 실시간 처리는 작업이 실행 중인지뿐 아니라 처리량과 Kafka 대기 데이터(LAG)까지 함께 감시해야 하며, 파이프라인별 자원과 배치 처리량을 조정하고 장애 시 재시작·중복 방지까지 고려해야 안정적으로 운영할 수 있습니다.