이 게시물은 Amazon ElastiCache for Valkey 기반의 CESC를 통해 Interactive AI 스토리텔링 플랫폼을 최적화한 사례입니다.

핵심 개요

• CESC: 사용자 입력, 월드 메타데이터, 캐릭터 상태를 결합한 컨텍스트 임베딩으로 시맨틱 캐싱 구현
• Valkey 벡터 검색(HNSW, 하이브리드 검색)으로 코사인 유사도 기반 Top-5 후보 추출
• Valkey GLIDE 클라이언트로 벡터 인덱스 생성·관리 및 하이브리드 검색 수행

검증 및 보완

• LLM Verifier로 후보 5장 재검증 및 Re-ranking, 부적합 시 리젝트 후 Fallback 전략 적용
• Fallback: 텍스트 우선 출력 및 비동기 이미지 생성 후 캐싱

성과

• 캐시 적중 시 평균 응답 100ms 미만으로 지연 약 98% 단축
• 트래픽의 35%를 캐시로 처리하여 이미지 생성 비용 약 35% 절감 및 UGC 누적에 따른 캐시 적중률 지속 상승