AI
모델 정렬을 위한 효과적인 학습 전략
두줄요약
사전 학습, 지도 미세 조정, RLHF, DPO를 통해 LLM 정렬 전략을 설명했습니다. 특히 선호 데이터와 기각 샘플링, DPO의 장점을 중심으로 비교했습니다.
핵심 내용
- LLM 정렬을 위한 학습 흐름으로 사전 학습, 지도 미세 조정, 선호 학습의 역할 구분
- RLHF의 학습 구조와 PPO의 의미, 보상 해킹과 리워드 모델 일관성 문제
- 기각 샘플링과 DPO를 통한 더 안정적이고 단순한 선호 학습 방식
- 지시 데이터셋과 선호 데이터셋 품질이 모델 정렬 성능에 미치는 영향