Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- word2vec
- Set Transformer
- GNN
- overfitting
- NLP
- Attention
- deep learning
- neural net
- sigmoid
- python practice
- XOR
- Python
- elif
- abstraction
- Transformer
- machine learning
- Self-loop attention
- pytorch
- sentence embedding
- Classificaion
Archives
- Today
- Total
목록Ensemble Model (1)
Research Notes

▶ Overfitting - 위 그림처럼 학습 데이터에 모델이 너무 편향된 경우. 학습 데이터는 완벽하게 배웠지만 다른 데이터들에 적용할 경우 성능이 좋지 않디 - Overfitting인지 알 수 있는 방법? : Training Dataset에서는 거의 100%의 정확도를 내지만, Testing Dataset에서는 성능이 이보다 훨씬 떨어지는 경우. - Overfitting 문제해결 1) 학습 데이터의 양을 늘리기 2) Regularization : 가중치를 너무 큰 값으로 주지 않도록 하는 것 ▶ Dropout - 왼쪽은 기존의 평범한 모델, 오른쪽은 Dropout을 적용한 모델. - (b)는 모델에서 몇 개의 노드를 없애버리고 나머지 노드들을 사용하여 학습을 시킴. = 전체를 학습한 효과를 낼 수 있..
Study/Deep Learning
2023. 7. 3. 11:36