worxphere-tech - Medium · 2026. 10. 08.

Batch Runner 를 만들다 (Event-Driven + Scheduled Batch 아키텍처)

AI 엔지니어링 브리핑

상품마다 필요한 처리 속도와 방식이 다르다는 점에 맞춰, 실시간 이벤트 처리와 정기 배치를 결합해 더 안정적이고 효율적인 배치 시스템을 구축한 경험을 소개합니다.

문제 & 배경

문제 & 배경: 초기에는 사용자 서비스와 배치가 한 서버에서 5분마다 모든 데이터를 다시 조회했기 때문에 데이터가 많아질수록 데이터베이스 부담과 처리 지연이 커지고, 배치 장애가 사용자 서비스에도 영향을 줄 수 있었습니다.

기술 & 해결책

기술 & 해결책: 주문 상품은 결제 즉시 Kafka 이벤트로 개별 처리하고, 테마관과 슈퍼기업관은 Jenkins가 호출하는 Spring Batch로 전체 처리와 변경분 처리로 나누었으며, 배치 서버·데이터 저장소(Data Express)·사용자 요청 서버(Display API)를 분리했습니다.

교훈 & 주의점

교훈 & 주의점: 실시간성이 필요한 작업과 지연을 허용할 수 있는 대량 작업에 같은 방식을 적용하지 말고, 증분 처리·중복 실행 방지·실패 알림과 함께 상품 특성에 맞는 도구를 선택해야 안정적인 운영과 독립적인 확장이 가능합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.