Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로
11
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

이 게시물은 Kanana-2의 Pre-training에서의 의사결정들을 중심으로 한 개발기입니다.

핵심 내용

  • Kanana-2의 Pre-training 단계에서의 의사결정들 정리
  • 개발기 시리즈의 첫 번째 편으로 Pre-training에 집중
  • 후속 글에서 post-training 레시피 개선 내용 다룸

연관 게시글

밑바닥부터 Kanana LLM 개발하기: Pre-training

밑바닥부터 Kanana LLM 개발하기: Pre-training

카카오 카카오 •
12
Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로

Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로

카카오 카카오 •
9
국내 최초 MoE 모델 ‘Kanana-MoE’ 개발기

국내 최초 MoE 모델 ‘Kanana-MoE’ 개발기

카카오 카카오 •
63