

Inner Loop 엔지니어링으로 본 Deep Insight Chatbot – 대화형 분석 챗봇의 4가지 설계 결정
Deep Insight의 Inner Loop 챗봇 설계에서 데이터 보호, 속도, 신뢰성, 비용을 맞추는 4가지 결정을 정리했습니다. DuckDB 샌드박싱과 세션 단위 OLAP 상주, SQL 투명성, prompt cache로 대화형 분석 도구를 구현했습니다.


Deep Insight의 Inner Loop 챗봇 설계에서 데이터 보호, 속도, 신뢰성, 비용을 맞추는 4가지 결정을 정리했습니다. DuckDB 샌드박싱과 세션 단위 OLAP 상주, SQL 투명성, prompt cache로 대화형 분석 도구를 구현했습니다.


농약 제품 사진을 인식해 정보를 찾는 3단계 AI 검색 시스템을 구축했습니다. Vision LLM 오인식을 오타 보정, OpenSearch Fallback, LLM Reranker로 보완했습니다.


Amazon Bedrock에서 Claude Code와 Codex를 함께 돌리는 협업 하네스를 구현해 48런 실험을 진행했습니다. 단독 실행보다 교차 리뷰가 버그를 더 잘 잡았고, 하네스 설계가 결과를 좌우함을 확인했습니다.

Amazon OpenSearch가 에이전틱 검색과 벡터 스토리지 혁신으로 진화하는 내용을 다뤘습니다. 운영 최적화와 AI 에이전트 연동을 함께 지원하는 플랫폼 방향을 소개했습니다.


프롬프트 인젝션에 대비해 에이전트 보안을 LLM 밖의 인프라에서 강제하는 다층 방어 패턴을 설명했습니다. AgentCore, JWT 전파, RLS, Index Mapper로 사용자 간 데이터 경계를 지키는 방법을 정리했습니다.

AI 에이전트의 자율성 확대에 따른 보안과 책임 문제를 다뤘습니다. 하네스 엔지니어링과 Datadog Agent Builder로 가드레일을 두는 방법을 소개했습니다.


Sim-to-Real과 Real-to-Sim이 Physical AI의 현실 적용을 가로막는 격차를 어떻게 줄이는지 설명했습니다. 시뮬레이션 충실도와 합성 데이터 파이프라인이 VLA 성능을 좌우한다고 정리했습니다.

생성형 AI의 한계를 넘기 위해 개발 전 과정을 AI와 함께 수행하는 AI-DLC 방법론을 소개했습니다. 기획부터 운영까지 컨텍스트와 이력을 보존하는 워크플로우를 통해 엔터프라이즈 개발 생산성을 높이는 접근을 다뤘습니다.

규제 환경에서 AI 에이전트를 안전하게 운영하기 위한 거버넌스와 통제 아키텍처를 정리했습니다. 모델 출력과 에이전트 행동을 분리해 제어하고, 운영 중에도 지속 검증하는 방법을 소개했습니다.


온톨로지와 분산형 에이전트 구조로 소형 언어모델 기반 AI 챗봇을 고도화했습니다. 멀티턴 대화와 주제 전환을 처리하면서 정확도, 비용, 지연 시간을 함께 개선했습니다.

AI 에이전트가 소프트웨어를 도구에서 동료로 바꾸는 흐름을 정리했습니다. 코딩에서 검증된 역할 변경이 지식 근로자 업무와 AWS 기반 AX 전환으로 확장된다고 설명했습니다.


패션 이커머스의 부정 반품 요청을 차단하기 위해 Amazon Nova 2 Lite를 Fine-tuning해 도메인 특화 가드레일을 구축했습니다. 837개 샘플 학습으로 Unsafe 탐지 정확도를 94.6%까지 높였고, 소형 모델의 비용 효율성도 확인했습니다.