이 게시물은 Airbridge Alert 시스템을 표준화하고 IaC로 운영하며 개선한 과정을 정리한 글입니다. 1차 개선에서는 Alert 생성·관리 방식을 Grafana 평가 중심으로 통일하고 Terraform Module로 연동을 추상화하여 alerts 레포에서 IaC로 관리하게 했습니다. 또한 Slack 메시지 포맷과 버튼 동작을 일관화하고, Alert에 포함된 태그·레이블로 담당자/팀 및 온콜 전달 경로를 자동 멘션하도록 책임 구조를 명확히 했습니다. 중간 계층인 Alert proxy로 Grafana와 Slack/PagerDuty 사이에서 Alert 정보를 해석해 메시지/스레드 업데이트와 Ack·Resolve lifecycle을 일관되게 처리했습니다. 운영 중 아쉬움으로 grouped 표현, 반복 정의 감소, Slack에서 조사·완화를 바로 시작하는 자동화, 그리고 모니터링 시스템 SPOF 대응이 필요해져 2차 개선을 진행했습니다. 2차 개선에서는 grouped Alert을 상태 변화를 잃지 않게 Slack 스레드 흐름으로 묶고, template과 matrix로 반복 정의를 재사용하며, custom action button과 abot(AI 에이전트)로 조사/완화를 Slack 안에서 연결했습니다. 마지막으로 proxy 운영 지표와 deadman switch로 Alert 전달 파이프라인 자체의 안정성을 관측하고 검증 체계를 갖췄습니다.