Large Language Diffusion Model 소개

이 게시물은 Autoregressive(AR) 기반 언어모델의 한계를 극복하기 위한 새로운 패러다임인 Large Language Diffusion Model(LLaDA)을 소개합니다.

Diffusion 모델의 특징과 장점

• 문장 전체를 반복 정제하며 노이즈를 점진적으로 제거하는 방식
• Exposure bias, 길이 편향, 장기 의존 문제 개선
• Masking과 디노이징을 통해 일관성과 정확성 향상

학습과 추론 과정

• Forward 단계에서 토큰 일부를 [MASK]로 변환해 노이즈 주입
• Reverse 단계에서 마스크를 단계적으로 제거하며 문장 생성
• Re-masking과 semi-autoregressive 기법으로 성능 향상

성능 및 한계

• 기존 AR 모델과 비슷하거나 일부 영역에서 우수한 성능
• Reversal curse 문제 완화 및 글로벌 컨텍스트 유지
• 아직 초기 연구로 컴퓨팅 제약, 하이퍼파라미터 민감성 등의 한계 존재