
42
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
Flink 기반 AI 실시간 스트림 조인 서비스 구축
이 게시물은 Azar의 AI 추천 시스템을 위한 실시간 스트림 조인 서비스 구축 경험을 공유합니다.핵심 요구사항 및 기술 선택
- 유저 이벤트를 실시간으로 조합하며, 일부 이벤트 유실 시에도 처리 가능
- 밀리초 단위 지연과 Exactly Once 처리 보장
- Apache Flink를 선택, 특히 KeyedProcessFunction과 TimerService를 활용하여 정밀한 시간 제어 및 상태 관리를 구현
구현 및 배포 전략
- KeyedProcessFunction에서 상태 관리와 타이머 설정으로 유연한 이벤트 조합 로직을 구현
- Heartbeat 이벤트를 통한 타이머 연장으로 조합 성공률 향상
- Savepoint를 활용한 상태 복구와 Blue-Green 배포 전략으로 무중단 서비스 배포 실현
Exactly Once Semantics 보장
- 중복 제거를 위해 Redis의 Atomic 연산을 활용한 빠르고 신뢰도 높은 중복 체크 구현
- Kafka Sink의 2PC 방식은 실시간성 저하 문제로 배제
결과 및 향후 전망
- 실시간 조합 데이터가 AI 추천 시스템 뿐 아니라 사내 다양한 서비스의 단일 진실 공급원으로 자리매김
- 향후 데이터 플랫폼으로의 확장 목표