대용량 AI 실시간 임베딩 데이터 효율적 처리

이 게시물은 대용량 AI 실시간 임베딩 데이터를 효율적으로 제공하는 서버 구축 과정과 성능 최적화 방법을 다룹니다.

프로젝트 목표

• 높은 TPS 달성
• 빠른 응답 속도 확보
• 인프라 비용 절감

핵심 기술 및 방법

• Redis Cluster를 메인 DB로 채택하여 높은 성능과 확장성 확보
• 데이터 모델링에서 Redis hashes와 hmget 명령어 활용
• 임베딩 데이터 압축으로 네트워크 대역폭과 응답 시간 단축
• Reactor 기반 코드 최적화 및 JVM Generational ZGC 도입
• 쿠버네티스 환경에서 리소스 할당량 최적화 및 체계적 성능 테스트 수행

성과 및 효과

• 응답 속도와 TPS 목표 달성
• 인프라 서버 수 및 비용 대폭 절감
• 프로젝트 확장성 및 안정성 향상