데브옵스
Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
두줄요약
Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.
핵심 내용
- Apache Flink와 RocksDB로 광고 Frequency Capping 실시간 집계를 1분~7일 구간까지 확장한 사례
- 짧은 구간과 장기 구간의 병목이 달라 minutes, hours, days 세 개의 Flink 앱으로 분리
- State를 SSOT로 두고 Redis는 projection으로 관리하며 재처리 정합성을 확보
- Write Stall, Filter Block Cache Miss, Checkpoint I/O, Changelog와 Savepoint 교착을 각각 튜닝과 설계로 해결