실시간 마케팅을 위한 PoC 개발기

이 게시물은 우아한형제들의 BUDS 팀이 실시간 맞춤형 마케팅을 위해 Segmentum 서비스의 데이터 파이프라인을 실시간으로 처리하는 PoC 과정을 공유합니다.

주요 아키텍처 구성

• SNS -> Lambda -> Kinesis -> Flink -> DB의 데이터 흐름 구현
• AWS 자원 관리는 Terragrunt와 Drone CI를 활용한 코드 관리 자동화
• Flink 실행환경은 비용과 관리 효율성을 고려해 EMR을 선택

실시간 처리 및 부하 테스트

• Flink 프로젝트는 비즈니스 로직을 모듈화하여 구성하고, 의존성 충돌을 해결하기 위한 shaded jar 사용
• 부하 테스트 도구 Locust로 12k RPS 목표를 달성하기 위한 병목 구간 식별 및 개선 수행
• SNS와 Lambda 사이에 SQS를 도입해 호출 빈도 문제 해결, ElasticSearch 조회 병목은 msearch 요청과 병렬성 증대로 극복

결과 및 배운 점

PoC를 통해 대규모 실시간 요청을 5초 이내에 안정적으로 처리하는 아키텍처를 검증하고, AWS 서비스 간 조합과 Flink 운영 노하우를 얻었습니다.