더핑크퐁컴퍼니 기술 블로그 - Medium · 2023. 09. 06.

핑크퐁의 통합 데이터 환경 구축기 (feat. Snowflake)

AI 엔지니어링 브리핑

더핑크퐁컴퍼니는 여러 플랫폼에 흩어진 데이터를 한곳에 모아 분석 업무를 더 빠르고 효율적으로 처리하기 위해 Snowflake 기반의 통합 데이터 환경을 구축했습니다.

문제 & 배경

문제 & 배경: 유튜브·앱·광고 플랫폼·엑셀 리포트 등 데이터 출처와 양이 크게 늘었지만, 자동화된 처리 체계가 부족해 담당자가 각 시스템에서 직접 데이터를 내려받고 수동으로 분석해야 했습니다.

기술 & 해결책

기술 & 해결책: 앱 로그 수집을 클라우드 기반으로 바꾸고 AWS Kinesis·Data Firehose·Lambda 등을 연결해 데이터를 자동으로 모은 뒤, Snowflake를 중심으로 여러 출처의 데이터를 한곳에서 통합하고 분석할 수 있는 구조로 전환했습니다.

교훈 & 주의점

교훈 & 주의점: 데이터가 많아질수록 출처별로 따로 관리하는 방식은 분석 요청에 빠르게 대응하기 어려우므로, 장애 위험을 줄이고 반복 작업을 자동화하는 중앙화된 데이터 환경을 단계적으로 마련하는 것이 중요합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.