이 게시물은 엔터프라이즈 환경에서 LLM 기반 AI 어시스턴트의 컨텍스트 엔지니어링 전략을 공유하는 글입니다.

핵심 문제

• 대규모 문서와 260여개 API, 27개 제품을 그대로 넣으면 컨텍스트 길이 및 노이즈로 성능 저하
• 컨텍스트 엔지니어링 정의: 필요할 때 필요한 정보만 선별 제공

주요 전략

• 점진적 공개: 질문 분석 → 도구 선별 → 가이드 주입 → 실행 및 포맷팅
• 응답 가이드라인은 시스템 프롬프트가 아닌 도구 메시지 형태로 주입하여 우선순위 충돌 방지
• API 응답 시 스키마 주석과 YAML 데이터로 재구성하여 토큰 절약 및 의미 명확화

결론

• 노이즈를 줄이고 신호만 남기는 것이 대규모 LLM 서비스 성공의 핵심