Research Notes

Title: Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks Authors: Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, Yee Whye Teh 0. Abstract 다양한 ML tasks는 set의 순서에 의존하지 않는 *permutation invariant한 특성을 반영하지 못함 기존 모델의 이러한 한계로, Attention-based neural network model인 Set Transformer를 제안함 Set Transformer는 input set 내 요소들의 interaction을 반영할 수 있도록 설계..

Transformer Transformer's contribution 이전의 RNN model이 불가능했던 병렬 처리를 가능하게 함 Attention 개념을 도입해 특정 시점에 집중 Positional Encoding을 사용해 sequential한 위치 정보 보존 masking을 적용해 이전 시점의 값만이 이후에 영향을 미치도록 제한 Transformer 모델 Transformer의 구조 : input sentence를 넣어서 output sentence를 생성해내는 모델. input과 동일한 sentence, input의 역방향인 sentence, 같은 의미의 다른 언어로된 sentence를 만들 수 있음. 이는 train 과정에서 어떤 것을 label로 두고 학습하느냐에 따라 다름. Encoder E..

1. Key, Query, Value 2. Self-Attention 3. Attention in Transformer 1. Key, Query, Value Key(K), Query(Q), Value(V)는 Attention의 핵심 키워드. Key, Query, Value의 특징은 아래와 같음 Dictionary 자료 구조이므로, Query와 Key가 일치하면 Value를 리턴함 Dictionary 자료형의 결과 리턴 과정 (attention score를 계산하는 과정과 유사) 1) key와 value의 유사도를 계산 2) 유사도와 value를 곱함 3) 유사도와 value를 곱한 값의 합을 리턴 K, Q, V가 Attention에서는 어떻게 사용될까? Attention이란, query와 k..

Transformer는 구글이 발표한 논문인 "Attention is All you Need"에서 나온 모델이며, Encoder-Decoder를 따르면서도 Attention만으로 구현한 모델이며 자연어 처리의 한 획을 그은 개념입니다. 자연어처리(NLP: Natural Language Processing) 분야를 발전시킨 모델이며, BERT 등의 최신 Text 모델에서 기본적으로 사용하는 구조입니다. 이 논문을 읽는 이유: 모델을 Explainable하게 설계할 수 있는 Attention 개념을 공부하여, 이 개념이 적용된 다른 DL(Deep Learning) 알고리즘을 이해하여 응용하기 위함입니다. 기존 자연어처리..