Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Classificaion
- overfitting
- neural net
- python practice
- Attention
- Transformer
- Self-loop attention
- word2vec
- XOR
- sentence embedding
- machine learning
- NLP
- abstraction
- pytorch
- Python
- Set Transformer
- elif
- GNN
- deep learning
- sigmoid
Archives
- Today
- Total
목록Encoder-Decoder Attention (1)
Research Notes
[Paper Review] Transformer: Attention is All you Need
Transformer는 구글이 발표한 논문인 "Attention is All you Need"에서 나온 모델이며, Encoder-Decoder를 따르면서도 Attention만으로 구현한 모델이며 자연어 처리의 한 획을 그은 개념입니다. 자연어처리(NLP: Natural Language Processing) 분야를 발전시킨 모델이며, BERT 등의 최신 Text 모델에서 기본적으로 사용하는 구조입니다. 이 논문을 읽는 이유: 모델을 Explainable하게 설계할 수 있는 Attention 개념을 공부하여, 이 개념이 적용된 다른 DL(Deep Learning) 알고리즘을 이해하여 응용하기 위함입니다. 기존 자연어처리..
Paper Review
2022. 3. 31. 19:50