Lustre Changelog DR

문제 상황

• 대규모 Lustre 환경에서 rsync 기반 전체 스캔 동기화의 긴 소요 시간
• 스캔 주기에 묶인 동기화로 인한 RPO 최소화 한계
• 재난 상황에서 데이터 손실을 줄이기 위한 효율적 DR 필요성

구조와 흐름

• Lustre Changelog로 파일 생성, 수정, 삭제 등 메타데이터 변경 이력 기록
• 모니터링 컴포넌트, 소스 서버, 타겟 서버의 3개 컴포넌트로 DR 구성
• Redis Stream으로 이벤트를 전달하고 gRPC와 rsync로 동기화 처리

성능/운영 포인트

• 변경 이벤트만 선별하는 증분 동기화로 네트워크 트래픽과 처리 시간 절감
• MDT별 Changelog Index와 Redis 체크포인트로 재시작 후 중복·누락 방지
• 재시도 가능한 오류는 재동기화 스트림으로 분리하고, 불가한 오류는 로그로 추적

적용해볼 점

• 파일 히스토리 기반 DR로 대규모 파일시스템의 복구 지연 완화
• 필요한 Changelog 이벤트만 선택 활성화해 디스크 사용량 관리
• 배치 기반 동기화로 실시간성과 운영 효율 균형