| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- python practice
- XOR
- abstraction
- machine learning
- sigmoid
- Attention
- GNN
- Self-loop attention
- NLP
- word2vec
- Set Transformer
- pytorch
- Python
- deep learning
- Classificaion
- Transformer
- overfitting
- sentence embedding
- neural net
- elif
- Today
- Total
목록sigmoid (2)
Research Notes
[DL] Neural Network - ReLU and Weight Initialization
▶ ReLU의 출현 - 신경망의 층이 깊을때, Backpropagation을 사용하였을 경우 학습이 잘 안됨 : Vanishing Gradient(경사 감소 소멸) - sigmoid의 잘못된 사용 ▶ReLU : Rectified Linear Unit - ReLU 함수 : x가 0보다 크면 y=x, x가 0보다 작으면 0 ▶ 다양한 Activation Functions - sigmoid, tanh, ReLU, Leaky ReLU, Maxout, ELU 등 여러 가지의 활성화함수가 존재 ▶ Weight 초기값 정하기 - Vanishing Gradient를 해결할 수 있는 방법 1) ReLU 함수의 사용 2) Weight의 초기값을 잘 정하기 - 초기값을 줄 때 주의점 · 값에 0을 주면 안됨 · RBM(..
[ML] Logistic Classification
▶ Review(Linear Regression) - Linear Regression : X값들을 이용하여 Y값을 예측하는 한 함수를 찾는 것. - Hypothesis : X(데이터) * W(가중치) - Cost 함수를 통해 손실을 최소화 하는 지점을 찾음(손실 최소화 = 실제값과 예측값의 차이 최소화) - 손실이 최소화 되는 지점을 찾기 위한 알고리즘 : Gradient Decent Algorithm, 학습률(Learning Rate)를 지정하여 경사를 이동해가는 폭을 조정. ▶ Classification(분류) - ex) 스팸 이메일 분류 : 스팸 or 햄, 페이스북 피드 분류 : 보여주기 or 숨기기, 신용카드 사용자 분류 : 진짜 사용자 or 가짜 사용자. - 분류하고자 하는 것들을 0, 1같은 ..