연간 LLM 호출 비용 25% 절감 프로젝트

이 게시물은 당근 채팅팀 인턴이 주도한 시맨틱 캐싱 도입으로 연간 LLM 호출 비용 약 25%, 약 2.1억 원을 절감한 사례를 소개합니다.

프로젝트 배경 및 문제 정의

• AI 메시지 추천 기능 도입으로 사용자 경험은 개선되었으나, LLM 호출 비용이 연간 8~9억 원에 이르는 문제 발생
• 기존 캐싱은 문장 일치에만 의존해 비용 절감에 한계가 있었음

시맨틱 캐싱 기술 도입

• 문장 의미 유사도를 바탕으로 캐싱 구현, 형태가 달라도 의미가 유사한 문장에 캐시 적용
• 벡터 DB는 임베디드 방식 chromem-go 사용, 빠른 응답과 비용 절감 달성
• 머신러닝 기반 발화 패턴 분석과 DBSCAN 군집화로 대표 문장 추출 및 캐시 셋 구성

성과 및 향후 계획

• 실제 프로덕션 테스트에서 약 25%의 캐시 HIT율 달성
• 캐시 도입으로 서비스 비용 절감과 사용자 경험 개선 확인
• 향후 다른 도메인 확장과 자동화 추진 계획