Firehose부터 OpenSearch까지: AWS 서비스를 활용한 로그 분리 전략

이 게시물은 AWS 서비스를 활용하여 애플리케이션 로그를 분리하고 장기간 보관하는 다양한 전략에 대해 설명합니다.

로그 분리 방법

• Java MDC와 Logback 설정을 이용한 요청별 로그 필터링
• 별도 Logger를 활용한 서비스 레이어 로그 분리
• OpenSearch Transform Jobs를 통한 데이터 집계 및 변환
• Fluent Bit 커스텀 설정으로 로그를 목적지별로 라우팅
• AWS Firehose와 Lambda를 연계하여 로그를 조건에 따라 분리 및 전송

운영 인프라 및 권한 설정

• Terraform을 활용한 Lambda 함수 및 Firehose 스트림 자동 생성
• IAM 역할 및 권한 부여로 Lambda와 Firehose 간 안전한 연동
• Lambda 함수 내 로직으로 isSeparation 필드를 기준으로 로그 분기 처리

결론

다양한 로그 분리 방법과 AWS 서비스 연계를 통해 특정 로그에 대해 장기간 보관 및 효과적인 관리가 가능함을 제시합니다.