아키텍처
매드업의 DMP - 프리즘(prism)을 소개합니다
두줄요약
매드업의 DMP 프리즘 구조와 운영 경험을 소개한 글입니다. V1의 한계를 바탕으로 V2에서 비동기화, 매니지드 서비스, RA3 전환을 통해 개선한 내용을 설명했습니다.
핵심 내용
- 매드업의 DMP 프리즘(Priism) 전반 소개, 광고 데이터 수집·가공·적재·공급 파이프라인 구성
- Python 수집기, S3, Redshift, Airflow, ECS를 활용한 초기 아키텍처와 대규모 광고 데이터 처리 방식
- 프리즘 V1의 한계로 동기 처리, Redis Stream, ECS, Airflow on EC2, Redshift DC2를 짚고 V2에서 비동기화, SQS·MSK, EKS, MWAA, Redshift RA3로 전환
- 데이터 소비 환경으로 JupyterHub와 Fargate 기반 분석 인프라, 향후 매체 대응과 분석 플랫폼 확장 과제 제시