Human-in-the-loop와 VLMOps 어드민 구축기

이 게시물은 무신사의 상품 메타데이터 자동 추출 과정에서 Human-in-the-loop(HITL)의 중요성과 VLMOps 어드민 시스템 구축 경험을 소개합니다.

Human-in-the-loop의 필요성

• AI 모델의 한계와 편향 문제를 보완하기 위한 사람의 개입
• 서비스 맥락에 맞는 세밀한 판단과 의사결정 역할
• 실제 상품 분류 사례를 통해 보여지는 예외 상황 대응

VLMOps 어드민의 구성과 기능

• 모델 및 프롬프트 관리: 엔지니어 도움 없이 웹 UI로 모델과 프롬프트 조정 가능
• 모델 추론과 자동 라벨링 기능 제공
• 추론 결과 검증과 리뷰: 역할별 권한 분리, 다양한 뷰 옵션 지원
• 정답셋 관리 및 중복 검증 방지
• 모델 평가 자동화 및 성능 비교 기능

성과 및 의의

• 데이터 검증 시간 약 54% 단축
• 팀 간 협업 효율성 증대
• 검증-검수-재학습의 선순환 구축으로 메타데이터 정확도 향상
• AI와 사람이 협업하는 지속 발전 시스템 기반 마련