Machine Learning에서 Regularization과 normalization이라는 개념이 있는데,
둘다 정규화라고도 해석이 가능합니다.
네이버에 검색해보니,
Regularization - 조직화, 규칙화
Normalization - 표준화, 정상화
라고 나오는군요.
하지만 많은 사람들이 Regularization과 normalization을 둘 다 정규화라고 사용하는 듯 합니다.
Machine Learning에서 이 둘은 뜻이 완전히 다른데요,
Normalization은 사실 Machine Learning뿐만 아니라 다른 개념에서도 사용되는 개념이기도 합니다.
수학에서도 사용하고, Database에서의 Normalization의 경우에는 테이블간의 서로 겹치는 정보를 배제한다는 의미로 사용하기도 합니다.
Machine Learning에서의 Normalization 은 데이터 간의 유닛을 맞춰 주는 의미로 해석됩니다.
Mean Normalization은 평균값으로 빼주고, (최대값 - 최소값)으로 나눠줌으로써
평균을 0으로 맞춰주고 값을 1에서 -1 사이로 맞춰줍니다.
다른 말로는 feature scaling이라고도 합니다.
반면에 regularization 은, overfitting을 방지하는 방법 중 하나로 나옵니다.
우리가 잘 아는 linear regression 이나 logistic regression을 사용할 때,
람다를 regularization parameter로 잡습니다.
regularization은 overfitting을 잡는 주요 도구중 하나지만,
너무 크면 학습을 방해할 수 있기 때문에 남용하는 것은 좋지 않습니다!
개인적인 생각으로 normaliztion을 정규화라고 부르고,
regularization을 조직화 등으로 바꿔 말하는 것이 좋다고 생각됩니다.
'Machine Learning' 카테고리의 다른 글
| train test split 하는 커스텀 python 스크립트를 만들어봤습니다 (0) | 2021.12.23 |
|---|---|
| Deep Learning이란? (인공 신경망) (0) | 2021.10.02 |
| Precision과 Recall, 그리고 f1 score (0) | 2021.06.03 |
| Bias(편향)과 Variance(분산) (0) | 2021.05.24 |
| Cuda 버전과 호환성 맞추기, 그래픽 카드 모니터링 (0) | 2021.04.15 |