Multimodal LLM 직접 학습

이 게시물은 공개된 한국어 멀티모달 데이터셋과 오픈소스 모델을 활용해 Multimodal LLM을 직접 학습하는 과정을 다룹니다.

주요 내용

• Table-VQA-ko 데이터셋을 이용해 한국어 표 이미지를 이해하는 멀티모달 챗봇 모델을 학습
• InternVL2-1B 모델과 학습 파이프라인을 선택하여 fine-tuning 수행
• 학습 환경 설정, 데이터 전처리, 학습 스크립트 수정, GPU 환경 구성 등 실습 단계 소개
• 약 2시간 30분 학습 후 모델이 표 내용을 이해하고 질문에 답변하는 성능 확인

결론

작은 규모 모델과 데이터로도 가능성을 확인했으며, 더 큰 모델과 데이터로 확장하면 상용화 가능성을 열 수 있음을 제안합니다.