LLM은 모델보다 하네스가 먼저다: 만득이 한 달 수습기
AI
LLM은 모델보다 하네스가 먼저다: 만득이 한 달 수습기
두줄요약
업무용 LLM 봇에서는 모델보다 하네스가 더 중요하다는 점을 정리했습니다. 범위 설정, 근거 분리, 도구 실패 구분이 실제 운영 품질을 좌우했습니다.
핵심 내용
- 업무용 LLM 봇의 품질은 모델 자체보다 주변 하네스 설계에 더 크게 좌우된다는 관점
- 하네스에 포함되는 요소로 범위 정의, 근거 확인 순서, 도구 권한, 실패 관찰, 기억과 교정 루프 제시
- Slack 기반 Codex 런타임 구조에서 시작 신호, 진행 상태, 최종 답변, 게시 결과를 분리해 추적하는 방식 설명
- Post-Order 도메인에서 PR 코드 리뷰, 장애 조사, 문서·로그·Slack 질의응답에 봇을 활용하며 얻은 운영 원칙 정리
적용해볼 점
- 질문의 담당 범위와 답변 가능 여부를 먼저 판별하는 게이트 두기
- 코드·문서·운영 로그·추정을 분리해 출처 라벨을 붙인 답변 구조 적용
- 도구 실패와 사실 부재를 구분하고, Slack에는 결론과 근거만 짧게 정리하는 흐름 채택