당근의 AWS 기반 피처 플랫폼 구축

이 게시물은 당근의 추천 시스템 고도화를 위해 AWS 기반 피처 플랫폼을 설계하고 구축한 과정을 설명합니다.

피처 플랫폼의 필요성과 구성

• 추천 시스템의 확장성 문제와 데이터 신뢰성 부족을 해결하기 위해 피처 플랫폼 개발
• 피처 서빙, 스트림 수집 파이프라인, 배치 수집 파이프라인의 세 가지 주요 구성요소 설계
• 서빙 시스템은 다단계 캐시 구조로 빠른 응답과 데이터 일관성 유지

주요 기술적 접근

• Server, Remote Cache, Database, On-demand Feature Server 구성
• 캐시 미스, 정합성, 관통 문제 해결을 위한 PEE 기법, Soft/Hard TTL, Negative Caching 적용
• 피처그룹과 스키마 기반 데이터 저장 및 효율적 서빙 구현

향후 개선 방향

• 대용량 데이터 캐싱과 임베딩 데이터 서빙 최적화
• 캐시 TTL 자동 최적화 및 고도화된 캐싱 정책 개발
• Multi-level cache 최적화와 효율적 메모리 사용 방안 모색