네이버 검색 SRE의 지진 및 비상 대응 시스템

이 게시물은 네이버 검색 서비스에서 지진과 같은 재난 상황 발생 시 비상 대응 시스템의 중요성과 구성을 설명합니다.

비상 대응 시스템의 주요 조건

• 빠른 이상 탐지: 기존 1분 주기에서 10초 주기로 지표 수집을 강화하여 급격한 트래픽 증가를 신속히 파악
• 비상 대응 자동화: 트래픽 급증 시 캐시 만료 시간 연장과 비상 모드 자동 발동
• 수동 대응 가능 UI/UX: 담당자가 신속하게 추가 대응 동작을 실행할 수 있도록 설계
• 상위 레벨 모니터링 연동: 시스템 전체 건강 상태와 서비스 영향도를 빠르게 확인하여 의사 결정을 지원

운영 사례와 의의

2024년 7월 12일 지진 발생 시 이 시스템 덕분에 네이버 검색은 정상 동작을 유지하며 서비스 안정성을 보장했습니다. 이 시스템들은 거대한 인프라의 안정적 운영과 신속한 문제 대응을 위해 필수적입니다.