RAG 없이 20만 대 자동차와 실시간 대화하기

이 게시물은 엔카닷컴 AI 팀이 RAG(Retrieval-Augmented Generation)의 한계를 극복하고 대규모 실시간 자동차 데이터에 맞는 AI 챗봇 아키텍처를 설계한 경험을 공유합니다.

RAG 적용 초기 실험과 한계

• 정책 문서에 RAG를 적용한 챗봇은 좋은 결과를 냈으나, 20만 대 실시간 변화 차량 데이터에는 부적합
• 벡터 DB 동기화 지연으로 '유령 매물' 문제 발생
• 문서 청크 기반 검색이 전체 맥락 손실과 정확도 저하 유발
• 다양한 청크 조합으로 캐싱 효과 감소, 운영 비용 증가

엔카의 대안

• 실시간 API 오케스트레이션으로 모든 최신 정보를 LLM에 직접 제공
• 캐시 친화적 프롬프트 설계로 비용 절감과 신뢰성 확보

다음 편 예고

다음 글에서는 실시간 API 오케스트레이터 설계와 구현을 상세히 다룰 예정입니다.