AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
42
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

Flink 기반 AI 실시간 스트림 조인 서비스 구축

이 게시물은 Azar의 AI 추천 시스템을 위한 실시간 스트림 조인 서비스 구축 경험을 공유합니다.

핵심 요구사항 및 기술 선택

  • 유저 이벤트를 실시간으로 조합하며, 일부 이벤트 유실 시에도 처리 가능
  • 밀리초 단위 지연과 Exactly Once 처리 보장
  • Apache Flink를 선택, 특히 KeyedProcessFunction과 TimerService를 활용하여 정밀한 시간 제어 및 상태 관리를 구현

구현 및 배포 전략

  • KeyedProcessFunction에서 상태 관리와 타이머 설정으로 유연한 이벤트 조합 로직을 구현
  • Heartbeat 이벤트를 통한 타이머 연장으로 조합 성공률 향상
  • Savepoint를 활용한 상태 복구와 Blue-Green 배포 전략으로 무중단 서비스 배포 실현

Exactly Once Semantics 보장

  • 중복 제거를 위해 Redis의 Atomic 연산을 활용한 빠르고 신뢰도 높은 중복 체크 구현
  • Kafka Sink의 2PC 방식은 실시간성 저하 문제로 배제

결과 및 향후 전망

  • 실시간 조합 데이터가 AI 추천 시스템 뿐 아니라 사내 다양한 서비스의 단일 진실 공급원으로 자리매김
  • 향후 데이터 플랫폼으로의 확장 목표

연관 게시글