허깅페이스 Trainer API 이용하기

이 게시물은 허깅페이스 플랫폼을 활용해 트랜스포머 모델을 손쉽게 학습하고 추론하는 방법을 설명합니다.

주요 내용

• 허깅페이스의 transformers, datasets 라이브러리 및 허브 소개
• KLUE ynat 데이터셋 다운로드, 전처리, 분할 과정
• Trainer API를 사용한 KLUE/roberta-base 모델 학습 및 평가
• 학습된 모델을 허깅페이스 허브에 업로드하는 방법
• pipeline 및 커스텀 파이프라인을 이용한 모델 추론 방법

학습 및 추론 절차

• 데이터셋 불필요 컬럼 제거, 문자열 라벨 추가
• 토크나이저 적용 및 학습 인자 설정
• 정확도 평가 함수 구현 및 Trainer 객체로 학습 수행
• 최종 모델 성능 평가 및 허브 업로드
• 사전학습된 모델로 텍스트 분류 추론 수행