네이버 뉴스 서비스 장애 예방과 카오스 엔지니어링 도구 Toxiproxy

이 게시물은 네이버 뉴스 서비스에서 외부 인프라 의존으로 인한 장애 테스트의 어려움을 해결하기 위해 카오스 엔지니어링 도구인 Toxiproxy를 도입한 사례를 소개합니다.

네이버 뉴스 서비스 구성과 장애 테스트 필요성

• nbase-arc는 ZooKeeper와 Redis 클러스터로 구성되어 있으며, 장애 시 서비스 영향 파악이 중요함
• 직접 서버 다운 후 재실행은 비효율적이므로 네트워크 상태 모사 필요

Toxiproxy 도입과 활용

• Shopify에서 개발한 오픈소스 도구로 네트워크 결함을 HTTP 요청을 통해 쉽게 주입 가능
• ZooKeeper와 Redis 클러스터 사이에 프록시 서버를 두어 장애 상황을 모사
• 테스트 결과 다양한 장애 케이스에서 장애 복구 및 서비스 영향 분석 수행

결론

네이버 뉴스 개발팀은 카오스 엔지니어링을 통해 장애 상황을 예측하고, 사용자에게 장애가 감지되지 않도록 서비스 견고성을 강화하고 있습니다.