Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- overfitting
- Transformer
- sentence embedding
- XOR
- Attention
- GNN
- deep learning
- word2vec
- pytorch
- Classificaion
- sigmoid
- Self-loop attention
- abstraction
- Python
- Set Transformer
- neural net
- machine learning
- elif
- NLP
- python practice
Archives
- Today
- Total
목록Scaled-Dot Product Attention (1)
Research Notes
[DL] Attention
1. Key, Query, Value 2. Self-Attention 3. Attention in Transformer 1. Key, Query, Value Key(K), Query(Q), Value(V)는 Attention의 핵심 키워드. Key, Query, Value의 특징은 아래와 같음 Dictionary 자료 구조이므로, Query와 Key가 일치하면 Value를 리턴함 Dictionary 자료형의 결과 리턴 과정 (attention score를 계산하는 과정과 유사) 1) key와 value의 유사도를 계산 2) 유사도와 value를 곱함 3) 유사도와 value를 곱한 값의 합을 리턴 K, Q, V가 Attention에서는 어떻게 사용될까? Attention이란, query와 k..
Study/Deep Learning
2022. 4. 2. 14:34