스케일 넘치는 대용량 감사 로그 관리

이 게시물은 대규모 감사 로그를 효율적으로 저장하고 조회하는 방법에 대해 설명합니다.

주요 문제점

• 로그 데이터 저장 공간 확장과 비용 증가
• 대용량 로그의 느린 조회 성능
• 외부 OLAP 연동을 위한 복잡한 ETL 작업

제안된 솔루션: QueryPie OVEN

• S3와 같은 오브젝트 저장소를 활용한 효율적 저장
• OLAP 저장소 연동에 적합한 경로 기반 Partitioning
• Bloom Filter를 이용한 불필요한 데이터 접근 최소화
• 감사 로그 특성에 맞춘 저장 및 조회 기능만 제공

기대 효과

• 비용 절감과 개발 편의성 향상
• Athena, Hive 등과 즉시 연동 가능한 표준화된 데이터 구조
• MinIO, Google Cloud Storage 등 다양한 저장소 지원 예정