장애 모의 훈련 그리고 배운 점

장애 모의 훈련 개요

Hyperconnect SRE팀은 장애 대응 능력을 향상시키기 위해 장애 모의 훈련을 진행했습니다. 이 훈련은 Azar 서비스의 핵심 컴포넌트를 대상으로 하여 실제 상황을 시뮬레이션하고, 다양한 장애 시나리오를 설계했습니다.

장애 시나리오 및 환경

• API 서비스 및 매칭 서비스에 대한 장애 시나리오를 설계했습니다.
• Elasticache와 Redis의 네트워크 장애를 포함하여, 매칭 알고리즘 설정 오류와 Availability Zone 장애를 다루었습니다.

훈련 결과 및 인사이트

훈련 중 첫 두 시나리오는 실패했지만, 후반부에서 성공적인 장애 완화 사례를 도출했습니다. 이 과정에서 장애의 근본 원인보다 빠른 완화가 더 중요함을 깨닫고, 팀 간의 의사소통과 지표 공유의 필요성을 인식했습니다.

훈련을 통해 SRE팀은 장애 대응 프로세스를 강화하고, 향후 더 나은 대응 체계를 마련할 계획입니다.