Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- python practice
- elif
- GNN
- XOR
- Set Transformer
- Attention
- overfitting
- abstraction
- Transformer
- neural net
- pytorch
- machine learning
- Classificaion
- word2vec
- sentence embedding
- NLP
- sigmoid
- deep learning
- Self-loop attention
- Python
Archives
- Today
- Total
목록train set (1)
Research Notes

▶ Learning Rate(학습률) - Learning Rate란? 학습의 속도를 조정하는 값 - Gradient Descent 알고리즘에서 사용 - Learning rate가 큰 경우 ; OverShooting : 학습률을 지정했는데 손실이 줄어들지 않고 발산할 경우. - Learning rate가 작은 경우 ; 시간이 너무 오래걸리고, Local minimum(국소해)에 머물러 버릴 위험. : 값의 변화가 너무 작음. - Learning Rate을 지정할 때 답은 없고 최적의 값을 시도해 보아야 함.(대부분 0.01로 지정) ▶ Overfitting : 머신러닝이 학습을 통해서 모델을 만들때, 학습 데이터에만 잘 맞는 모델을 만드는 경우. 학습 데이터 이외의 값을 집어넣으면 예측이 잘 안되는 문제...
Study/Machine Learning
2023. 7. 3. 11:16