Llama3에 대한 Andrej Karpathy의 생각

이 게시물은 Meta에서 공개한 Llama3 모델에 대한 Andrej Karpathy의 의견을 전합니다.

모델 성능

• 8B 및 70B 모델은 우수한 성능을 보이며, 400B 모델도 GPT-4 수준에 근접하고 있음
• 토크나이저의 토큰 수가 128K로 증가
• 모든 모델에서 Grouped Query Attention(GQA) 기법 적용

훈련 데이터와 시스템

15조 개의 토큰 데이터로 훈련하였으며, 높은 품질의 데이터셋을 기반으로 하였습니다. Karpathy는 더 작은 모델의 필요성을 언급하며, Llama3가 오픈소스 분야에서 중요한 진전을 이루었다고 평가합니다.