AI
2부: 정책을 따르는 평가자, LLM-as-a-Judge
두줄요약
LLM-as-a-Judge를 설계해 설명 생성 품질을 자동 평가하는 방법을 소개했습니다. 체크리스트와 critique 구조화로 인간 평가와의 정합성을 높이고, 디버깅과 데이터 정제에도 활용했습니다.
핵심 내용
- Tinder AI-enabled Discovery의 설명 생성 정책을 바탕으로, LLM을 평가자 역할로 쓰는 LLM-as-a-Judge 설계 과정 소개
- 평가 방식은 Pointwise, Binary, Single-aspect로 단순화해 일관성과 인간 평가와의 정합성 확보
- 정책 문서를 체크리스트로 분해하고, 인간 평가의 critique를 구조화한 few-shot 예시와 리마인더를 결합해 agreement를 약 84%까지 개선
- Judge를 평가 자동화뿐 아니라 디버깅, 정책 개선, 학습 데이터 정제에 활용한 사례 정리
적용해볼 점
- 복잡한 정책은 평가용 체크리스트로 재구성해 LLM의 판단 단위를 단순화
- 인간의 암묵적 판단은 step-by-step critique 형태로 명시화해 few-shot 예시에 반영
- 평가 결과 로그를 정책 보완, 오류 원인 분석, 데이터 정제에 재사용