QA와 카오스 엔지니어링의 만남

이 게시물은 24시간 운영되는 이커머스 서비스의 안정성을 높이기 위해 카오스 엔지니어링을 도입한 올리브영의 사례를 다룹니다.

카오스 엔지니어링의 개념

• 의도적으로 장애를 발생시켜 시스템의 복원력과 취약점을 테스트
• Application Level, Host Level, Resource Attack 등 다양한 실험 유형 소개

Application Level 테스트

• API 응답 내 null 값 주입으로 null exception 문제를 사전에 발견 및 개선
• mitmproxy를 활용해 응답 데이터를 자동으로 변조하는 테스트 프로세스 구성
• 테스트 결과를 바탕으로 에러 바운더리 적용과 정기 검증 계획 수립

QA와 카오스 엔지니어링의 시너지

• QA의 정상 동작 테스트와 달리 비정상 상황을 가정하여 품질 강화
• 개발자, SRE와 협력해 서비스 회복력을 검증하고 사용자 영향 최소화 목표