추측이 아닌 데이터로: 3개 서비스 27개 SLO와 54개 모니터를 설정하고 배포 자동화까지 구축한 2주의 집중 작업
0
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 AI를 활용해 3개 서비스에 27개 SLO와 54개 모니터를 설정하고 배포 자동화까지 구축한 사례를 공유합니다.
문제
- HTTP 2xx 기준 SLO로 400/404 같은 클라이언트 오류를 서버 장애로 오판
- HTTP 200이지만 비즈니스 실패를 성공으로 오판해 실제 장애 탐지 실패
해결
- APM error 태그 기반 SLI로 측정 정확도 개선하여 오탐 매일 10회 → 0회
- 90일 APM 데이터로 p50/p95/p99 분석해 데이터 기반 임계값 설정
- Burn Rate 경보와 명명 규칙 통일로 27개 SLO·54개 모니터 표준화
- ArgoCD 훅과 Datadog API로 배포 시작 시 SLO Correction 생성, 완료 시 동적 종료로 Error Budget 자동 보호
