Open Thoughts - 추론 모델을 위한 데이터 레시피

이 게시물은 추론 모델 학습을 위한 데이터 설계와 실험을 통해 성능을 개선한 Open Thoughts 연구 내용을 다룹니다.

주요 실험 및 결과

• 어려운 질문 위주 데이터 구성 및 하나의 질문에 다양한 답변 생성 실험
• 데이터 크기 증가에 따른 성능 향상 확인
• 답변 검증과 필터링은 성능 향상에 큰 영향이 없었음
• Teacher 모델로 QwQ-32B 사용이 효과적

시사점

• 질문 난이도 높은 소수의 질문이 중요
• 다양한 답변 생성이 추론 능력 향상에 긍정적 영향
• 추론 trace 일부만 포함해도 성능 향상 가능

Open Thoughts3 데이터와 방법론을 활용해 다양한 추론 작업에서 모델 성능 향상이 기대됩니다.