백엔드
쿠키런: 킹덤 데이터베이스 스토리지 레이어 복원기
두줄요약
런칭 직후 Ballast 파일 경로 오류로 CockroachDB 클러스터가 전역 장애를 겪었습니다. SST 파일 복원과 데이터 재구성을 통해 서비스를 다시 열고, 이후 재발 방지 프로세스도 강화했습니다.
문제 상황
- 쿠키런: 킹덤 런칭 4일 만에 스토리지 공간 부족과 설정 실수로 CockroachDB 클러스터가 전역 장애에 빠짐
- 일부 노드의 파일시스템 훼손, Raft 과반 상실, 긴급 점검과 복구 시도 필요
원인 분석
- Ballast 파일 생성 스크립트의 경로 오류로 블록 디바이스 파티션을 덮어쓴 인적 오류
- 로컬 스토리지 특성상 파일시스템 불안정이 발생했고, 다수 노드가 동시에 영향받아 클러스터 구성이 붕괴
해결 방법
- 기존 클러스터 복원을 시도하며 EBS 복제, fsck, 로그 분석, 내부 툴 탐색 진행
- SST 파일을 해독해 CSV로 추출한 뒤 IMPORT INTO와 서버 로직으로 저널, 스냅샷, 유저 데이터를 재구성
- 백업 데이터와 정합성 검증을 거쳐 새로운 클러스터로 서비스를 재오픈