Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- overfitting
- machine learning
- Python
- Transformer
- abstraction
- XOR
- neural net
- sentence embedding
- Attention
- Self-loop attention
- NLP
- elif
- GNN
- word2vec
- deep learning
- Set Transformer
- python practice
- sigmoid
- Classificaion
- pytorch
Archives
- Today
- Total
목록Multi-Head Attention (1)
Research Notes
[DL] Attention
1. Key, Query, Value 2. Self-Attention 3. Attention in Transformer 1. Key, Query, Value Key(K), Query(Q), Value(V)는 Attention의 핵심 키워드. Key, Query, Value의 특징은 아래와 같음 Dictionary 자료 구조이므로, Query와 Key가 일치하면 Value를 리턴함 Dictionary 자료형의 결과 리턴 과정 (attention score를 계산하는 과정과 유사) 1) key와 value의 유사도를 계산 2) 유사도와 value를 곱함 3) 유사도와 value를 곱한 값의 합을 리턴 K, Q, V가 Attention에서는 어떻게 사용될까? Attention이란, query와 k..
Study/Deep Learning
2022. 4. 2. 14:34