ICML 2024 Outlier Detection 발표 및 LLM 동향 정리

이 게시물은 ICML 2024에서 발표한 스마트 공장 컨베이어벨트 및 모터 이상 탐지를 위한 비지도 이상치 탐지(Unsupervised Outlier Detection) 논문과 현장에서 파악한 LLM 관련 최신 연구 동향을 공유합니다.

주요 논문 개요 및 기여

• Likelihood 기반 생성모델의 한계와 Inlier Memorization 현상 발견
• 2-Gaussian Mixture 모델과 Wasserstein 거리로 학습 조기 중단 결정
• 모델 앙상블을 통한 이상 탐지 안정성 향상
• Minmax Scaling이 Standard Scaling보다 효과적임을 이론적으로 증명
• 다양한 데이터 유형에서 기존 UOD 대비 우수한 성능 입증

ICML 2024 LLM 연구 동향

• Alignment 영역에서 DPO와 PPO 비교 및 개선 전략 제시
• 효율적 학습과 추론을 위한 Adaptive Pruning, Low Rank Learning, Quantization 기법 소개
• In Context Learning 이론적 해석과 실험적 분석
• LLM의 산수 능력 향상 및 체크포인트 저장 효율화 연구