스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)

문제 상황

• 감사 로그의 장기 보관 요구와 대용량 생성량으로 인한 스토리지 비용 증가
• 대규모 로그 조회 지연과 외부 OLAP 연동을 위한 ETL 추가 작업 부담

해결 방법

• HotStore와 ColdStore로 저장 계층을 나누고, 일정 기간 지난 로그는 S3 같은 오브젝트 저장소의 Blob 형태로 이관
• 경로 기반 파티셔닝으로 로그 그룹명과 시간 정보를 중심으로 저장해 Athena, Hive 같은 외부 분석 도구 연동을 용이하게 구성
• 시간 범위 외 블롭을 줄이기 위해 시간 단위 Blob별 Bloom Filter를 생성해 불필요한 접근을 스킵

성능/운영 포인트

• 감사 로그 특성에 맞춰 저장과 조회만 제공하고 수정, 삭제 기능은 배제
• WORM 특성을 활용해 적재 후 변경 없는 보관 구조를 전제
• 표준화된 데이터 구조로 비용 절감과 운영 복잡도 감소를 기대