Kubernetes-native 로그 플랫폼 개요

WATCHA의 로그 플랫폼은 기존 시스템의 요구사항 변화에 따라 개선되었습니다.

주요 개선 사항

• 비용 해소: 기존 로그 플랫폼은 Kubernetes 환경을 고려하지 않아 서비스별 통합에 불필요한 비용이 발생했습니다. 이를 daemonset 형태로 배포하여 통합을 용이하게 했습니다.
• 로그 구조 개선: 기존 protobuf 기반 로그 구조의 단점을 보완하기 위해 다양한 serialization을 지원합니다.
• BigQuery 의존성 감소: 로그 성격에 따라 서버 요청 로그와 서버 이벤트 로그를 구분하여 저장함으로써 효율성을 높였습니다.

구현 구성

로그 플랫폼은 discovery, agent, server, ingester 네 개의 하위 서비스로 구성되며, NATS JetStream을 통해 로그 메시지를 전달하고 S3 및 ClickHouse에 저장합니다. 최종 사용자는 Redash를 통해 손쉽게 로그를 쿼리할 수 있습니다. 모니터링은 Prometheus와 Grafana를 통해 수행됩니다.