Hyperconnect Tech Blog · 2025. 06. 11.
AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
AI 엔지니어링 브리핑
Azar는 여러 시점에 흩어져 들어오는 유저 행동을 실시간으로 조합해 AI 추천에 활용하기 위해 Flink 기반 스트림 조인 서비스를 구축했습니다.
문제 & 배경
- 문제 & 배경: 유저의 매치 요청·완료·취소 같은 이벤트가 서로 다른 시점에 도착하거나 일부 빠질 수 있어, 이를 낮은 지연으로 정확하게 조합하고 배포 중에도 중단 없이 제공해야 했습니다.
기술 & 해결책
- 기술 & 해결책: Apache Flink의 KeyedProcessFunction으로 유저별 이벤트 상태를 저장하고 TimerService로 이벤트 종류와 상황에 맞게 기다리는 시간을 조절했으며, Savepoint와 Blue-Green 배포로 상태를 보존한 무중단 배포를 구현하고 Redis로 중복 발행을 빠르게 제거했습니다.
교훈 & 주의점
- 교훈 & 주의점: 이벤트를 너무 오래 기다리면 실시간성이 떨어지고 너무 빨리 마감하면 조합이 실패하므로 타이머와 heartbeat를 세밀하게 조정해야 하며, 배포 시 만료 타이머와 중복 발행까지 함께 관리해야 안정적인 Exactly Once 처리가 가능합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.