엔카믿고 챗봇의 추천질문 기능 개발기

이 게시물은 엔카닷컴 차량 상세페이지 AI 챗봇에 맥락 기반 추천질문 기능을 추가하는 30일간의 개발 과정을 담고 있습니다.

주요 도전과 해결 과정

• 기존 챗봇의 고정된 추천질문을 대화 맥락에 맞게 동적으로 생성하도록 개선
• Gemini API와 SSE 스트리밍 방식 활용 중 발생한 청크 누적 오류와 그 해결
• 복잡한 보증 상태 분기처리를 동적 프롬프팅으로 구현하여 LLM 환각 현상 및 토큰 낭비 문제 극복
• Structured Output 기능의 불안정성 문제로 인해 명확한 프롬프트 지시문으로 전환한 경험

결과 및 교훈

• 추천질문 기능 배포 후 챗봇 답변량 19% 증가라는 성과 달성
• 협업과 시스템 이해의 중요성, 최신 기술이 반드시 최선은 아님을 체득
• 명확하고 직관적인 프롬프트 엔지니어링의 효과와 좋은 동료의 지원이 큰 힘이 됨을 강조