실시간 광고 사용자 ID 매핑 시스템

이 게시물은 네이버 광고 시스템에서 실시간으로 대량의 이벤트 로그를 처리하여 사용자 ID를 그룹 ID로 매핑하는 시스템 설계와 구현 방식을 소개합니다.

시스템 구성 및 처리 흐름

• Apache Kafka와 Apache Spark Structured Streaming 기반의 마이크로서비스 아키텍처
• gRPC를 활용한 ID 매핑 API 서버와 클라이언트 간 로드 밸런싱
• 인메모리 데이터베이스와 HDFS를 활용한 데이터 저장 및 분석

ID 매핑 알고리즘

• 사용자 ID를 그래프 노드로, 중복 ID 연결을 간선으로 표현하는 트리 구조 알고리즘
• ID 타입 우선순위(ad_id > mobile_id > browser_id)를 적용하여 사이클 없는 트리 생성
• 트리의 기준 노드 선정 기준과 그룹 ID 발급 과정 상세 설명

기술적 세부 구현

• Spark Structured Streaming의 트리거 옵션과 커스텀 싱크 구현
• Apache ZooKeeper를 활용한 gRPC 서버 목록 관리 및 클라이언트 단 로드 밸런싱