에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기

문제 상황

• 상품 모니터링이 초기에는 Slack 에러 알림 중심이라 정합성 이슈를 놓치기 쉬운 구조
• CDC 동기화 실패 시 수동 처리에 의존해 새벽 대응과 담당자 피로도 증가
• 비교 컬럼 추가나 조건 변경 때마다 배포가 필요해 운영 비용 증가

해결 방법

• 온콜 등록과 그룹 매핑으로 알림 도달 체계 정비
• DLQ 도입과 3회 재시도로 일시적 실패는 자동 재처리, 최종 실패만 수동 추적
• Datadog Workflow로 APM, 로그, baseline을 모아 AI식 진단 요약을 Slack으로 자동 전송
• 정합성 검증 웹 페이지 구축으로 개발자 온디맨드 검증과 시각화 지원

성능/운영 포인트

• 재시도 후 복구되는 케이스를 자동 흡수해 후속 메시지 병목과 수동 재처리 감소
• 평시 대비 에러 급증 배수, 에러율, 특정 리소스 집중도, p99 지연 등으로 이상 징후 요약
• 사람이 직접 개입할 일은 줄이고, 정말 봐야 할 장애만 빠르게 판단하는 운영 체계 지향