AWS Glue ETL을 활용한 CRM 데이터 병렬처리

이 게시물은 노티플라이의 CRM 마케팅 데이터 분석을 위한 AWS 기반 ETL 파이프라인 구축 사례를 설명합니다.

기존 문제점

• 즉각 확인 불가한 복잡한 쿼리로 인한 처리 지연과 타임아웃 발생
• 중복 쿼리 실행으로 인한 비용 비효율 및 리소스 낭비
• 데이터 일관성 문제로 사용자별 다른 결과 발생

새 아키텍처 및 해결 방안

• 서버리스 AWS Glue ETL, Step Functions, EventBridge, Lambda, Kinesis, Firehose, Athena를 연계하여 데이터 파이프라인 구성
• 고객사별 캠페인 이벤트 발생 시에만 동적으로 ETL 작업 실행하여 비용과 리소스 최적화
• 데이터 파티셔닝과 Glue 카탈로그 활용으로 효율적 데이터 조회 구현
• Python과 PySpark 기반으로 Extract, Transform, Load 단계를 명확히 분리하여 유지보수성과 확장성 확보
• 병렬 처리와 작업 격리로 안정성과 보안성 강화

성과 및 전망

• 서버리스 환경에서 운영 부담 감소 및 비용 절감
• 월 20억 건 이상의 데이터를 준실시간으로 집계 및 분석
• A/B 테스트 및 사용자 세그먼트 분석 고도화 계획