[ML] Practice and Tips of Machine Learning

▶ Learning Rate(학습률)

- Learning Rate란? 학습의 속도를 조정하는 값

- Gradient Descent 알고리즘에서 사용

Learning Rate(학습률) : 경사하강법 적용할 경우 알파값

- Learning rate가 큰 경우 ; OverShooting

: 학습률을 지정했는데 손실이 줄어들지 않고 발산할 경우.

- Learning rate가 작은 경우 ; 시간이 너무 오래걸리고, Local minimum(국소해)에 머물러 버릴 위험.

: 값의 변화가 너무 작음.

- Learning Rate을 지정할 때 답은 없고 최적의 값을 시도해 보아야 함.(대부분 0.01로 지정)

 

▶ Overfitting

: 머신러닝이 학습을 통해서 모델을 만들때, 학습 데이터에만 잘 맞는 모델을 만드는 경우. 학습 데이터 이외의 값을 집어넣으면 예측이 잘 안되는 문제.

(좌) 정상적인 모델, (우) Overfitting된 모델. 데이터에만 치중되어져 있기 때문에 다른 값들을 예측할 때의 성능이 좋지 않다.

 

 

- Overfitting를 방지하는 방법

: Training Data를 늘리기, feature의 개수를 줄이기, Regularization.

​- Regularization

: 가중치가 너무 크게 하지 않도록 하는 것.

Regularization은 cost함수와 더하여 가중치 값을 조정.

 

▶ Trainig/Testing 데이터 셋

​- Trainig/Testing set

Trainig Data로 모델을 학습 시키고, Test set으로 모델의 성능을 평가한다.

- Trainig, Validation, Test Data sets

Trainig set으로 모델을 학습시키고, Validation set을 가지고 모델을 튜닝(모의 실험)을 한 뒤 Testing set으로 모델의 성능을 평가.