스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)

문제 상황

• 감사 로그의 최소 5년 보관 요구와 하루 수백만 건 수준의 생성량으로 인한 저장·운영 부담
• 기존 시스템의 스토리지 확장 비용 증가, 대규모 조회 지연, 외부 OLAP 연동용 ETL 추가 작업 부담

구조와 흐름

• 적재 후 수정·삭제가 없는 감사 로그 특성에 맞춰 저장과 조회만 제공하는 단순한 기능 구성
• 빠른 쓰기를 위한 HotStore 적재 후 일정 기간마다 시간 단위로 ColdStore로 이동하는 흐름
• ColdStore에는 S3 같은 오브젝트 저장소 기반 Blob 저장과 경로 기반 Partitioning을 적용해 조회와 외부 연동을 용이하게 구성

선택 이유

• 대용량 로그를 경제적으로 저장하기 위한 S3 연동
• Athena, Hive 같은 OLAP 도구와 즉시 연동 가능한 표준화된 데이터 구조
• 조회 시 불필요한 Blob 접근을 줄이기 위한 시간 단위 Bloom Filter 활용

성능/운영 포인트

• 시간 범위 조회와 목록 조회 중심으로 인터페이스를 추상화해 내부 저장 방식과 분리
• Bloom Filter로 조건에 맞지 않는 Blob을 스킵해 조회 성능 향상
• HotStore와 ColdStore의 종류를 내부에서 관리해 개발·운영 복잡도 감소