API 증강 생성으로 실시간 대규모 데이터 처리

이 게시물은 엔카가 20만 대 차량의 실시간 정보를 RAG 없이 제공하기 위해 개발한 새로운 아키텍처인 API 증강 생성 방식을 소개합니다.

핵심 아키텍처 변화

• 기존 RAG는 벡터 DB 동기화에 복잡한 부하가 발생하지만, API 증강 생성은 내부 API를 직접 호출해 실시간 데이터 제공
• 백엔드가 데이터 흐름을 통제하며, 데이터 무결성과 실시간성을 보장
• JSON 대신 Markdown 포맷을 사용해 LLM에 효율적으로 정보 주입

성능 최적화 및 사용자 경험

• Python asyncio를 통한 병렬 API 호출로 0.5초 내 데이터 수집 완료
• 다계층 캐싱 및 SSE 응답 스트리밍으로 빠른 응답과 비용 절감 달성
• 엄격 모드와 유연 모드로 할루시네이션 방지 및 정확한 답변 제공

결론

엔카는 중고차 거래 특성에 맞춰 RAG 대신 API 증강 생성 방식을 채택하여 정확하고 실시간 정보 제공에 성공했으며, 이 경험은 다른 실시간 데이터 환경에도 참고할 만한 사례입니다.