당근 피드 시스템과 Feed-Entity 프로젝트

이 게시물은 당근 피드인프라팀이 운영하는 대규모 피드 시스템의 복잡성을 해결하기 위해 도입한 Feed-Entity 프로젝트에 대해 설명합니다.

Feed-Entity의 개념과 구조

• 피드 내 다양한 콘텐츠를 표준화된 단위인 Feed-Entity로 변환하여 관리
• 각 Feed-Entity는 고유 ID, 타입, 생성자, 상태 등 공통 필드를 가짐
• 서비스별 독립적 저장소 대신 단일 소스(Single Source of Truth) 역할 수행

데이터 파이프라인과 서빙 전략

• 모듈화된 데이터 수집, 변환, 검증, 메시지 큐 프로듀스 단계로 구성
• Dead Letter Queue(DLQ)로 오류 데이터 관리 및 재처리 보장
• 지역별 Redis 캐시와 다단계 저장 구조로 읽기 성능 최적화

성과와 향후 개선 방향

• 데이터 일관성 확보, 시스템 확장성 향상, 통합 관리 및 사용자 경험 개선
• 복합적 인덱싱 전략과 추천 모델 학습 적용 등 고도화 계획
• Feed-Entity를 더 많은 서비스의 단일 소스로 확대 적용 예정