네이버 플레이스 개발 블로그 - Medium · 2023. 12. 04.
Airflow 환경 Docker compose로 containerization하기
AI 엔지니어링 브리핑
Airflow를 실제 배포 환경과 비슷한 Docker 환경에서 실행하고 IDE로 개발·디버깅할 수 있도록 구성한 과정을 소개하는 글입니다.
문제 & 배경
- 문제 & 배경: 기존에는 로컬과 Kubernetes 기반 배포 환경의 실행 방식과 설정 주입 방식이 달랐고, 개발자별 Python 환경과 운영체제 차이까지 겹쳐 로컬에서는 되지만 배포 후 실패할 가능성이 있었습니다.
기술 & 해결책
- 기술 & 해결책: Airflow의 Scheduler, Worker, Webserver 같은 구성 요소와 선택한 Executor의 동작 방식에 맞춰 Docker Compose로 여러 실행 환경을 동일하게 구성하고, 격리된 컨테이너에서 변경 사항을 검증하도록 했습니다.
교훈 & 주의점
- 교훈 & 주의점: Docker를 사용하면 개발자와 환경이 달라도 같은 조건에서 반복적으로 테스트할 수 있지만, Executor에 따라 Worker를 별도 컨테이너로 둘지 등 전체 컨테이너 구성을 다르게 설계해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.