[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까
AI
[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까
두줄요약
LLM을 평가자로 활용해 해커톤 제출물을 코드와 문서만으로 채점한 사례를 소개했습니다. 사람의 판단과 비교했을 때 업무 흐름을 끝까지 구현한 팀을 안정적으로 골라냈습니다.
핵심 내용
- 네이버 AI 해커톤에서 코드와 문서만 읽는 LLM 평가자를 설계해 팀별 제출물을 채점한 사례
- 평가 기준은 기능 완성도, 기술·구현, 차별성·문제해결, 문서·제출자료의 네 축으로 구성
- 입력부터 판단, 결과 생성까지 실제 업무 흐름이 코드에서 이어지는지 중점 확인
- 반복 평가에서도 상위권 팀이 비교적 안정적으로 유지되며 사람 평가와 일부 일치