올리브영 테크블로그 · 2024. 03. 12.

상품데이터 Pipeline을 위한 Debezium MSK Connect

AI 엔지니어링 브리핑

상품 데이터가 여러 데이터베이스에서 바뀔 때마다 이를 실시간으로 감지해 Kafka 기반 파이프라인으로 전달하고, 서비스 간 데이터를 안정적으로 동기화하기 위해 Debezium과 AWS MSK Connect를 도입한 과정을 소개한 글입니다.

문제 & 배경

문제 & 배경: 모놀리식 시스템을 여러 서비스로 나누면서 Oracle, MySQL, MongoDB, Cassandra 등 서로 다른 데이터베이스의 기존 데이터를 동기화하고 변경 내역을 추적해야 했지만, 이를 일관되게 처리할 방법이 필요했습니다.

기술 & 해결책

기술 & 해결책: Debezium이 각 데이터베이스의 트랜잭션 로그를 읽어 변경 사항을 실시간 이벤트로 만들고, AWS MSK Connect의 Source Connector가 이를 MSK로 전달하면 별도 Consumer 서버가 받아 Aurora와 Document DB 등에 적재하도록 구성했습니다.

교훈 & 주의점

교훈 & 주의점: 데이터베이스별 로그와 권한 설정, MSK 플러그인 등록, 커넥터 구성과 오프셋·상태 토픽 관리가 핵심이며, 특히 Debezium 공식 문서를 바탕으로 설정을 꼼꼼히 검증해야 안정적인 운영이 가능합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.