컬리의 BigQuery 도입기 - 1부

기존에는 데이터가 실제 분석에 도착하기까지 최소 20분에서 한 시간 이상 걸렸고, 저장 공간 부족과 쿼리 지연, 여러 시스템을 거치는 복잡한 적재 과정 때문에 운영과 문제 원인 파악이 어려웠습니다.

Kafka의 변경 데이터 로그를 BigQuery Streaming API로 직접 전달해 중간 파일 저장과 재처리 단계를 줄이고, 데이터 파이프라인과 조회용 프로젝트를 분리했으며, 파티션과 보관 기간을 설정해 저장·조회 범위와 비용을 관리했습니다.

BigQuery는 속도와 구조 단순화에 도움이 될 수 있지만 저장량과 데이터 조회량에 따라 비용이 늘어나므로, 파티션 범위를 쿼리에 지정하고 용도별 프로젝트와 자원·조회량 제한을 설계해야 합니다.