백엔드
Serilog를 통해 애플리케이션 데이터를 수집하고 분석하자
두줄요약
Serilog로 구조화 로그를 만들고 S3에 적재한 뒤 Athena와 Glue로 분석하는 방법을 소개했습니다. 분산 환경의 로그를 SQL로 조회·JOIN하는 활용 예시도 함께 다뤘습니다.
핵심 내용
- 분산 네트워크와 마이크로서비스 환경에서 로그를 구조화해 수집하고 분석하는 흐름 소개
- Serilog로 구조화 로그를 작성하고, Serilog.Sinks.AmazonS3로 S3에 적재한 뒤 Athena와 Glue로 조회·분석하는 구성
- JSON 로그의 한계를 보완하기 위해 Glue 크롤링과 SQL 기반 분석을 활용하는 방식
- 좌표 같은 중첩 속성을 펼쳐 저장하고, 노드 간 로그를 JOIN해 통신 시간 분석에 응용하는 예시
적용해볼 점
- 로그 메시지보다 의미 있는 속성을 남기는 구조화 로그 설계
- S3 적재 후 Athena 조회를 위한 Glue 카탈로그 구성
- 실제 운영 시 성능과 제약 사항 검토