에이닷 서비스 안정성 및 Grafana(Scar) 고도화

이 게시물은 에이닷 검색서비스팀에서 운영하는 SCAR 모니터링 시스템의 아키텍처 개편과 고도화 과정을 소개합니다.

기존 아키텍처의 한계 및 문제점

• 로그 복사 및 grep 파싱으로 인한 네트워크와 CPU 부하 증가
• MySQL 기반 시계열 데이터 처리의 확장성 한계

SCAR의 현재 구조

• 로그 수집: Filebeat를 이용한 실시간 로그 수집 및 Elasticsearch 저장
• 로그 집계: Batch Parser가 매분 단위 집계 후 검색 특화 통계 생성
• 시계열 DB 적재 및 시각화: InfluxDB에 메트릭 저장 후 Grafana로 시각화

SCAR 모니터링 지표

• 서비스 트래픽, 에러 발생률, 검색 품질 지표(검색 결과 유무, 상위 검색어 등)
• 서브모듈 응답 시간 및 LLM 토큰 사용량 모니터링

향후 개선 방향

• 알림 시스템 자동화 및 이상치 감지 기능 강화
• 품질 지표 확대와 사용자 행동 흐름 분석
• 시스템 안정성 및 성능 최적화 지속 추진