AI
엔터프라이즈 LLM 서비스 구축기 1: 컨텍스트 엔지니어링
두줄요약
대규모 LLM 서비스에서 프롬프트보다 컨텍스트 설계가 더 중요하다는 점을 설명했습니다.\n필요한 도구와 정보만 단계적으로 주입해 성능 저하와 환각을 줄인 방법을 공유했습니다.
핵심 내용
- 엔터프라이즈 LLM 서비스에서 프롬프트 엔지니어링보다 컨텍스트 엔지니어링이 중요하다는 문제의식 정리
- 27개 제품, 260개 이상 API, 다수 문서를 다루기 위해 점진적 공개 전략 채택
- 질문 분석, 도구 선별, 가이드라인 주입, API 응답 재구성으로 필요한 정보만 최소 컨텍스트에 제공
선택 이유
- 컨텍스트 길이 증가와 노이즈 혼입이 LLM 성능 저하와 환각을 유발한다는 근거 제시
- 시스템 프롬프트 충돌을 피하기 위해 응답 가이드라인을 도구 메시지처럼 주입하는 방식 사용
적용해볼 점
- 모든 문서와 도구를 한 번에 넣기보다 질문과 상황에 맞는 정보만 단계적으로 제공
- API 응답은 스키마와 실제 데이터를 함께 전달해 해석 가능성 확보
- LLM에는 신호만 남기고 노이즈를 덜어내는 설계 필요