AI
AI 뇌를 위한 닭고기 수프: 라벨링
두줄요약
유튜브 퀴즈의 품질을 높이기 위해 좋은 질문의 기준을 세우고 라벨링 체계를 설계했습니다. 또한 전용 라벨링 툴과 QC 모델 학습 루프로 질문 생성 AI를 개선했습니다.
핵심 내용
- 유튜브 영상을 교육용 퀴즈로 바꾸는 과정에서, 단순한 질문 생성보다 학습 목표와 사용자 참여를 함께 만족하는 질문 품질 관리가 핵심 과제
- “좋은 질문”의 기준을 정의하기 위해 질문, 정답, 오답을 개별적으로 평가하는 라벨링 기준을 세우고 약 30개 수준의 평가 항목을 설계
- 수천 개 질문을 사람이 일일이 평가할 수 없어서, 한 주 안에 가볍고 직관적인 라벨링 툴 R.MarkAI를 제작해 작업 효율과 진행 관리 개선
- 라벨링 데이터를 바탕으로 품질 예측 모델을 학습·평가·필터링·재훈련하는 피드백 루프를 구축하고, 문제 생성 AI와 QC 모델을 투 트랙으로 개선