이 게시물은 Apache Flink와 RocksDB 튜닝으로 1분~7일 슬라이딩 Frequency Capping 실시간 집계를 일주일까지 확장한 경험을 정리한 글입니다.

아키텍처 및 분리

• minutes/hours/days 세 Flink 앱으로 분리, 구간별 병목 패턴에 따른 독립 최적화
• State를 SSOT로 두고 Redis는 projection 역할

전환 및 정합성

• 백필과 캐치업을 분리한 2단계 파이프라인 설계
• eventTime 기반 Redis 쓰기 조건, withIdleness 설정, timerState TTL로 전환 정합성 확보

주요 튜닝 포인트

• minutes: managed 메모리·WBR 증설로 Write Stall 해소
• hours: partitioned-index-filters와 레벨 최적화로 Filter Block Cache Miss 및 CPU 포화 개선
• days: 레벨·파일 크기 최적화와 Flink Changelog 도입으로 Checkpoint I/O 병목 완화