36
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
Chat DIC 프로젝트에서 AWS Bedrock Prompt Caching 활용
이 게시물은 SK플래닛의 AI 프로젝트 Chat DIC에서 AWS Bedrock의 Prompt Caching 기능을 적용하여 쿼리 생성 속도와 비용을 최적화한 사례를 다룹니다.Prompt Caching 개요
- 프롬프트의 반복되는 문맥을 캐시에 저장하여 재계산 최소화
- 응답 지연 시간 단축 및 토큰 비용 절감 효과
- 캐시 유효 기간(TTL) 5분으로 자동 갱신
Chat DIC 적용 및 시스템 구조
- 초기 AWS Gateway + Lambda 구조에서 발생한 타임아웃 및 Throttling 문제 개선
- AWS ALB + EC2 구조로 전환하여 스트리밍 및 긴 타임아웃 지원
- system과 tools 프롬프트에 캐싱 적용, messages 영역은 사용자 입력 특성상 제외
적용 효과
- 평균 응답 시간 29.3초에서 23.1초로 단축
- Throttling 발생률 약 60% 감소
- 시스템 자원 부하 및 비용 절감 확인
