아키텍처
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
두줄요약
대용량 감사 로그를 효율적으로 저장·조회하기 위한 OVEN의 설계와 운영 방안을 소개했습니다. S3 연동, 경로 기반 파티셔닝, Bloom Filter로 비용과 조회 성능을 개선했습니다.
문제 상황
- 감사 로그의 최소 5년 보관 요구로 인한 대용량 저장소 부담
- 기존 DB 기반 관리의 높은 운영 비용과 조회 지연
- 외부 OLAP 연동을 위한 추가 ETL 작업의 비효율
해결 방법
- S3 같은 오브젝트 저장소와 연동한 HotStore/ColdStore 분리 저장
- 시간 단위 경로 기반 파티셔닝으로 Athena, Hive 연동과 조회 단순화
- Bloom Filter로 불필요한 Blob 접근을 줄여 조회 성능 개선
성능/운영 포인트
- 적재 후 수정하지 않는 WORM 특성에 맞춘 저장 구조
- 저장과 조회만 제공해 기능 복잡도 최소화
- 내부 저장소 종류를 추상화해 개발자 인터페이스 일관화
적용해볼 점
- 대용량 감사 로그를 오브젝트 스토리지와 분석 도구 친화적 구조로 설계
- 시간 범위 조회 중심이라면 파티션 설계와 필터링 전략 우선 검토