AI
신한카드, 온톨로지와 소형언어모델로 고효율 AI 챗봇 구축하기
두줄요약
온톨로지와 분산형 에이전트 구조로 소형 언어모델 기반 AI 챗봇을 고도화했습니다. 멀티턴 대화와 주제 전환을 처리하면서 정확도, 비용, 지연 시간을 함께 개선했습니다.
문제 상황
- 금융 상담의 멀티턴 대화, 주제 전환, 미세한 의도 구분이 필요한 챗봇 과제
- 51개 세분화 인텐트 처리, 5초 이내 응답, 규제·비용·지연 시간 제약의 동시 충족 필요
- 중앙집중형 에이전틱 구조와 대형 모델 의존의 한계
해결 방법
- 인텐트를 Domain, Action, Tag로 분해한 온톨로지 기반 분류와 그래프 매칭 적용
- 에이전트별 이진 분류를 병렬 수행하는 분산형 Agentic AI 구조로 라우팅 부담 완화
- AI-to-AI 대화로 멀티턴 테스트, 실패 분석, 로직 수정, 재검증까지 자율화
성능/운영 포인트
- 소형 모델 기반 분류 정확도 향상과 topic switching 대응력 확보
- 토큰 사용량 절감과 병렬 처리로 지연 시간 단축
- 비용 효율 개선과 프로덕션 수준 운영 가능성 검증