글루시스 기술 블로그 · 2025. 11. 28.
Lustre Changelog DR
AI 엔지니어링 브리핑
Lustre의 변경 기록을 활용해 바뀐 파일만 빠르게 원격지에 복제함으로써 대규모 파일시스템의 재해 복구 시간을 줄이는 방법을 소개한 글입니다.
문제 & 배경
대규모 Lustre 환경에서 rsync로 전체 파일시스템을 반복 검사하면 시간이 오래 걸리고, 동기화 주기가 길어져 재해 발생 시 데이터 손실을 줄이는 데 한계가 있었습니다.
기술 & 해결책
Lustre Changelog로 파일 생성·수정·삭제 같은 변경 사항을 순서대로 기록한 뒤, C 기반 모니터링 프로그램과 Redis Stream으로 이벤트를 전달하고, 파일 내용은 SSH 기반 rsync로, 이름 변경·삭제는 gRPC로 처리해 변경된 부분만 동기화하도록 해결했습니다.
교훈 & 주의점
MDT별 변경 위치와 동기화 체크포인트를 저장하고 실패 작업을 재시도해 중단 후에도 누락과 중복을 줄였으며, 테스트에서는 작은 파일은 약 3분 이내, 큰 파일은 약 20분 이내에 동기화되어 RPO를 0에 가깝게 유지할 수 있음을 확인했지만 필요한 이벤트만 기록해 저장 공간 증가를 관리해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.