Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기

MariaDB Trigger와 로그 테이블은 스키마가 바뀔 때마다 함께 수정해야 하고 데이터가 늘수록 저장·인덱스 관리 부담이 커졌으며, 광고와 사용자 행동 이벤트를 실시간으로 장기 보관할 필요도 생겼습니다.

기존 Debezium이 발행한 Kafka 데이터를 직접 읽는 컨슈머를 개발해 필요한 조건을 적용하고 Parquet으로 변환한 뒤 S3에 저장함으로써, JSON만 지원하는 Connector의 제약과 추가 변환 단계의 지연·복잡성을 피하려 했습니다.

S3는 원본 데이터를 유연하게 보관하고 Athena로 필요할 때 분석할 수 있어 확장성과 운영 편의성이 높지만, 실무에서는 파일 업로드 지연과 기존 업무 규칙을 어떻게 유지할지까지 고려해야 합니다.