당근의 AWS 기반 피처 플랫폼 구축: 피처 수집

이 게시물은 당근이 AWS를 활용해 구축한 피처 플랫폼의 스트림 및 배치 수집 파이프라인에 대해 설명합니다.

스트림 수집 아키텍처

• Amazon MSK를 메시지 브로커로 사용하여 다양한 이벤트를 수집
• Amazon EKS 상의 Consumer가 이벤트를 가공해 데이터베이스와 캐시에 적재
• 병렬 처리와 manual-commit 방식을 통해 이벤트 처리 속도와 안정성 향상

배치 수집 아키텍처

• AWS Batch와 Fargate로 대규모 데이터 일괄 처리 및 안전한 작업 분리
• Scheduler가 작업을 등록하고 AWS Batch가 실행
• 향후 DAG 지원 및 자동 병렬 처리 최적화를 계획 중

성과 및 운영 경험

• 추천 시스템에 1,000개 이상의 고품질 피처 제공
• Amazon DynamoDB, ElastiCache, MSK 등 AWS 서비스로 안정적 운영
• 운영 비용 절감 및 고성능 처리 달성