AI
1부: 데이터도 정답도 없다: 하이퍼커넥트가 LLM을 길들이는 법
두줄요약
정답 데이터가 없는 설명 생성 문제에서 좋은 설명의 기준을 먼저 합의하고 정책으로 정리하는 과정을 소개했습니다. PM과 엔지니어가 pass/fail 평가와 critique를 반복하며 모델과 평가 기준을 함께 수렴시켰습니다.
핵심 내용
- 정답 데이터가 없는 open-ended generation 문제에서 무엇이 좋은 설명인지 먼저 정의하고, 이를 사람이 일관되게 평가할 정책으로 정리하는 과정
- Tinder AI-enabled Discovery 예시를 통해, 설명 생성 모듈을 만들기 위해 PM과 엔지니어가 각자 기준으로 pass/fail 평가와 critique를 반복하며 합의점을 수렴하는 이터레이션
- 정책이 안정화된 뒤에는 정책을 내재화한 소형 모델을 만들고, 대량 평가를 위해 LLM Judge를 활용하는 흐름
적용해볼 점
- 초기에 완벽한 프롬프트보다 빠른 model steering과 실패 사례 수집을 우선하는 접근
- 숫자 점수보다 pass/fail와 상세한 critique로 판단 경계를 언어화하는 방식
- 팀 합의 기준을 명문화해 모델과 평가자 모두에게 일관되게 전달하는 운영 방식