AI
Inner Loop 엔지니어링으로 본 Deep Insight Chatbot – 대화형 분석 챗봇의 4가지 설계 결정
두줄요약
Deep Insight의 Inner Loop 챗봇 설계에서 데이터 보호, 속도, 신뢰성, 비용을 맞추는 4가지 결정을 정리했습니다. DuckDB 샌드박싱과 세션 단위 OLAP 상주, SQL 투명성, prompt cache로 대화형 분석 도구를 구현했습니다.
핵심 내용
- Deep Insight의 Inner Loop 챗봇을 위해 4가지 설계 결정을 정리한 글
- 데이터 보호, 속도, 신뢰성, 비용을 각각 DuckDB 샌드박싱, 세션 단위 OLAP 상주, SQL 투명성, Bedrock prompt cache와 호출 축소로 대응
- Outer Loop 자동 분석과 분리된 대화형 분석 흐름, 단일 테이블 환경 기준의 적용 범위와 멀티 테이블 확장 한계까지 설명
적용해볼 점
- CSV 분석 챗봇에서 LLM은 SQL 생성에만 두고 실행은 샌드박싱된 엔진에 위임하는 구조
- 세션별 메모리 DB와 LRU eviction, SQL 직접 수정·재실행, 후속 질문 임베드, 도메인 용어 파일 도입 같은 실무 패턴