AI에게 투자정보를 말하게 하기까지

문제 상황

• 투자 정보는 적시성, 정확성, 검증 가능성, 비정상성이 강하게 요구되는 도메인
• LLM과 에이전트는 그럴듯하지만 틀린 답이나 잘못된 경로를 만들 수 있어 고객 노출 전에 통제가 필요
• 좋은 문장보다 말하기 전후의 근거 선별, 검증, 관찰, 개선 구조가 핵심

원인 분석

• 뉴스·공시·실적 발표처럼 형식이 다른 텍스트에서 근거와 대상 기업을 잘못 연결할 위험
• 자율성이 큰 에이전트는 툴 콜 오류, 상태 전파 오류, 실행 경로 변동으로 운영 부담 증가
• 시장 국면 변화로 고정된 프롬프트·예시·평가 체계가 쉽게 무력화

해결 방법

• 입수 시점에 분류·관련 엔티티·임베딩을 붙이는 컨텍스트 엔지니어링으로 후보를 선별
• 검색, 관련성 판단, 중복 제거, 근거 구성, 응답 생성을 분리한 절차형 그래프로 통제
• 답변과 함께 루브릭, 이벤트 타입, 실패 유형을 구조화해 평가 가능하게 설계

적용해볼 점

• 자율형 에이전트가 필요한지, 절차형 그래프로 충분한지 요건부터 구분
• 운영에서 나온 실패 사례를 평가셋과 하드 샘플 퓨샷으로 되돌리는 피드백 루프 구축
• 생성 품질보다 말할 수 있는 후보의 근거 품질과 방향성 검증을 우선 점검