모델 정렬을 위한 효과적인 학습 전략

모델 정렬을 위한 효과적인 학습 전략

이 게시물은 대형 언어 모델(LLM)의 정렬을 위해 사용되는 여러 학습 방법을 설명합니다.

학습 단계 및 기법

• 사전 학습: 대용량 텍스트 데이터를 활용해 언어 이해도 향상
• 지도 미세 조정: 지시 데이터셋을 이용해 사용자 요청에 적절히 응답하도록 추가 학습
• 강화 학습(RLHF): 사람의 피드백을 활용하나 리워드 모델의 한계 존재
• 기각 샘플링: 강화 학습 없이 리워드 모델이 높은 점수를 준 응답을 재학습
• DPO: 리워드 모델 없이 선호 데이터셋을 직접 학습하여 안정적이고 효율적

추가 설명

• 지도 미세 조정과 사전 학습 모두 인과적 언어 모델링 사용
• 지시 데이터셋의 품질이 모델 정렬 성능에 큰 영향
• RLHF는 자원 소모가 크고 보상 해킹 문제 존재
• DPO는 2024년 기준 RLHF보다 더 많이 활용됨