Scaling, Standardization, Regularization 정리

이 게시물은 데이터 정규화와 관련된 용어들의 혼동을 줄이기 위해 Scaling, Standardization, Regularization의 일반적인 정의와 사용 목적을 설명합니다.

Scaling

• 데이터의 범위를 임의로 조정하여 변수 단위 차이로 인한 학습 영향도 불균형 문제를 완화
• Min Max, Max Abs, Robust 등의 기법이 있으며, Robust와 Standard는 엄밀한 의미의 Scaling은 아님

Standardization

• 데이터를 평균 0, 표준편차 1인 표준 정규분포로 변환하여 서로 다른 자료간 비교를 용이하게 함

Regularization

• 모델 가중치에 제약을 주어 과적합을 방지하는 기법으로 Ridge, Lasso, Elastic Net 등이 대표적
• 추가로 Fused Lasso, Group Lasso, Graph Constrained Regularization 등의 변형 기법도 소개됨