네이버 플레이스 개발 블로그 - Medium · 2023. 12. 14.
Airflow Task failed Alert Mail 폭탄 회피하기
AI 엔지니어링 브리핑
Airflow에서 같은 원인으로 여러 작업이 동시에 실패할 때 알림 메일이 지나치게 많이 오는 문제를 줄인 방법을 설명합니다.
문제 & 배경
- 문제 & 배경: 수백 개의 ETL 파이프라인에서 비슷한 작업을 동적으로 실행하다 보니 Yarn Cluster 같은 공통 시스템에 문제가 생기면 여러 Task가 함께 실패하고, 실패한 Task마다 알림 메일이 발송되어 같은 내용의 메일을 수십 통씩 받게 되었습니다.
기술 & 해결책
- 기술 & 해결책: Airflow가 DAG 전체가 아니라 실패한 Task별로 알림을 보내는 구조에서 발생한 문제를 대상으로, 동일한 원인으로 반복되는 실패 알림을 묶어 불필요한 메일 노이즈를 줄이는 방향으로 개선했습니다.
교훈 & 주의점
- 교훈 & 주의점: 반복 알림은 문제가 여러 곳에 영향을 준다는 신호이기도 하지만 운영자가 중요한 알림을 놓치게 할 수 있으므로, 영향 범위는 파악하면서도 같은 장애에 대한 알림은 적절히 제한해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.