백엔드
쿠키런: 킹덤 길드 업데이트 이후 서비스 이슈 되돌아보기
두줄요약
길드 업데이트 이후 CockroachDB 클러스터에서 Hot Range로 인한 과부하 이슈를 회고했습니다. 점검 방식 조정, 테이블 단위 백업, Split과 Decommission으로 장애를 수습했습니다.
핵심 내용
- 쿠키런: 킹덤 길드 업데이트 직후 CockroachDB 클러스터에서 Hot Range가 발생해 일부 노드 CPU가 치솟고 에러가 증가한 서비스 이슈 회고
- 원인은 사전 분할이 없던 신규 테이블의 동시 쓰기 집중, PK 포맷 변경으로 인한 특정 Range 편중, 신규 노드 추가로 인한 분산 지연이 겹친 점
- 로그인만 막는 점검 방식으로 부하를 줄이고, 테이블 단위 백업과 사전 Split, 노드 제거와 Decommission으로 클러스터를 안정화한 과정 정리
적용해볼 점
- 신규 테이블이나 PK 변경 시 초기 Hot Range 가능성 사전 점검
- 노드 추가와 Range 분할 큐 경쟁 관계 고려
- 전체 백업이 막힐 때 테이블 단위 백업 같은 우회 전략 준비