Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- Set Transformer
- word2vec
- sigmoid
- abstraction
- overfitting
- XOR
- neural net
- Python
- Transformer
- Self-loop attention
- Classificaion
- sentence embedding
- machine learning
- GNN
- deep learning
- python practice
- pytorch
- Attention
- elif
- NLP
Archives
- Today
- Total
목록RNN (1)
Research Notes

▶ Sequence data : 우리가 사용하는 시퀀스 데이터가 많다. 한 단어만으로 이루어지는 것이 아니라 연속적으로 이루어져 있다는 뜻.(한 단어를 이해하기 위해서는 이전의 단어를 이해해야 하는 것과 같음) 기존의 Neural Net과 CNN은 Sequence data를 사용할 수 없다. - ex) 음성인식 ▶ RNN - State의 개념 중요. : 이전의 state가 입력으로 사용되고(ht-1), 새로운 time step(y)을 벡터 형태로 입력한다. → 이러한 형태가 거의 모든 RNN의 구조에 적용됨. - RNN의 연산방법 · WX와 같은 형태로 각각에 가중치를 만들어준다. · y값은 계산된 H에다가 다른 W를 곱해준다. (y가 몇개의 vector로 나올것인지는 W가 어떤 형태인지에 따라 정해짐)..
Study/Deep Learning
2023. 7. 3. 11:44