AI 기반 스냅 이미지 패션 상품 검색

이 게시물은 무신사 스냅 이미지에서 패션 아이템을 자동으로 인식하고 유사 상품을 추천하는 AI 검색 기술 개발 6주간의 여정을 공유합니다.

주요 기술 구성

• YOLOS 객체 탐지 모델로 이미지 내 패션 아이템 위치 탐지
• FashionCLIP 임베딩 모델로 아이템 이미지 벡터 생성
• AWS OpenSearch를 활용한 벡터 유사도 기반 상품 검색
• 자연어 검색은 LLM(Claude 3 Sonnet)과 텍스트 임베딩으로 스타일 기반 스냅 추천

성능 및 한계

• Precision@5 0.81, MRR 0.76으로 높은 검색 정확도 기록
• 모호한 아이템, 가려진 부분, 특이한 촬영 구도에서 매칭 어려움 발견

향후 계획

• 모델 파인튜닝 및 멀티뷰 임베딩으로 정확도 향상
• 사용자 피드백 기반 검색 결과 재정렬과 개인화 기능 도입
• 클라우드 비용 최적화 및 확장성 확보