엔터프라이즈 LLM 서비스 구축기 2: 에이전트 엔지니어링

핵심 내용

• 엔터프라이즈 LLM 서비스에서 에이전트를 어떻게 만들지에 대한 기술 선택 사례
• 파인 튜닝, 청킹, 복잡한 워크플로 대신 단순한 구조를 택한 배경과 근거
• 문서 참조, 검색 후 자르기(post-split), ReAct 조합으로 응답률을 높인 운영 경험

선택 이유

• 파인 튜닝은 지식 주입 효율과 유지 보수 비용 측면에서 불리
• 문서가 짧고 주제가 명확해 사전 청킹보다 통째 검색 후 정제가 더 적합
• 좋은 도구와 충분한 맥락이 있으면 복잡한 계획 없이도 에이전트가 순차적으로 행동 가능

장단점

• 멀티 에이전트와 계획 후 실행은 복잡도와 지연 시간 증가
• ReAct는 구조가 단순하고 도구 호출 순서를 유연하게 구성 가능
• 검색 후 자르기는 문맥 손실을 줄이면서 필요한 조각만 전달 가능