실시간 광고 사용자 ID 매핑
아키텍처
실시간 광고 사용자 ID 매핑
두줄요약
실시간 광고 사용자 ID 매핑 시스템의 설계와 처리 흐름을 소개했습니다. Kafka, Spark, gRPC, ZooKeeper와 트리 기반 매핑 알고리즘으로 확장성과 유연성을 확보한 사례입니다.
핵심 내용
- 네이버 광고 시스템의 실시간 사용자 ID 매핑을 위해, 이벤트 로그에서 추출한 여러 ID를 하나의 group_id로 연결하는 시스템 설계와 동작 흐름 소개
- Apache Kafka, Spark Structured Streaming, gRPC, ZooKeeper를 조합한 마이크로서비스 아키텍처와, HDFS·인메모리 DB·세컨더리 DB로 분산 저장하는 처리 구조 설명
- 사용자 ID를 그래프/트리로 모델링하고, ID 타입 우선순위와 이벤트 시간, 경로 길이 등을 기준으로 기준 노드를 선택하는 매핑 알고리즘 정리
- 스트리밍/배치 입력에 따른 트리거 설정, 커스텀 싱크 구현, 확장성과 HA를 고려한 운영 포인트 공유