뱅크샐러드 공식 블로그 | 메인 · 2023. 06. 07.
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
AI 엔지니어링 브리핑
복잡한 분석 데이터를 서비스에서 쉽게 활용할 수 있도록 데이터 파이프라인과 API 사이에 dataserving 플랫폼을 구축한 과정을 소개합니다.
문제 & 배경
- 문제 & 배경: 여러 서비스의 데이터를 장기간에 걸쳐 복잡하게 계산해야 하는 새소식과 사용자 분석 태그를 제품에서 사용하려 하자, 매번 다른 방식으로 데이터를 전달하고 별도 서비스를 설계해야 해 서버 엔지니어의 도움이 필요했습니다.
기술 & 해결책
- 기술 & 해결책: 데이터 분석가가 분석 테이블의 구조를 protobuf 명세로 정의하면 데이터 파이프라인이 주기적으로 이를 Amazon DocumentDB에 저장하고, 제품과 클라이언트는 dataserving API에서 조건에 맞는 데이터를 조회하도록 표준화했습니다.
교훈 & 주의점
- 교훈 & 주의점: dataserving 덕분에 서버 엔지니어의 지원을 최소화하면서 다양한 데이터 제품을 만들 수 있었지만, 데이터 접근 권한·실시간 데이터·이벤트 스트림·안정적인 운영까지 고려하려면 추가 구성과 지속적인 개선이 필요했습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.