매력적인 LLMops 구현 과정＆팁 (Feat. Chat PPT)

이 게시물은 SK Hynix의 김병도가 사내에서 개발한 PPT 분석 프로그램 'Chat PPT'의 LLMops 운영 및 개발 경험을 공유합니다.

주요 구성

• 목표 설정: 보안 제약을 고려해 로컬 실행 가능한 .exe 형태로 구현하고, PPT의 텍스트, 도표, 그림 등을 정확히 분석하도록 설계
• 개발 과정: PPT를 한 장씩 캡쳐해 VLM에 API 호출 후 LLM으로 결과 분석, GUI를 통해 진행 상황과 질의 기능 제공
• 품질 향상: 동료 피드백 반영, VLM 메타인지 강화용 프롬프트 구성, 정확성과 사용 편의성에 집중

특징 및 중요 고려사항

• 보안상 웹 서비스 불가로 로컬에서 실행 가능하도록 pyinstaller로 패키징
• 정확성 중시하여 전문 지식 기반의 정밀 추출 지향
• 오류 및 할루시네이션 최소화를 위해 반복적 품질 개선 수행