Research Notes

문제상황: pytorch에서 model을 돌리다가 해당 에러가 뜸 이유: pytorch 이전 버전(0.5)에서 작성된 코드를 돌릴 때 뜨는 에러, pytorch의 데이터 자료 구조가 변경되었다고 함 코드에서 변수명.data[0] --> 변수명.data로 바꾸면 해결됨

Research Question Is there a task and a corresponding loss that will allow us to learn highly generic sentence representations? Proposed Methods generic sentence embedding/representation을 통해, 현재 문장을 가지고 이전/이후 문장을 예측할 수 있는 모델을 개발함 단어 확장 방법(vocabulary expansion method)을 통해, encode된 word가 학습 시에만 활용되는 것이 아니라 수만개의 단어로 확장될 수 있도록 함 학습 후, 추출된 vector들은 8가지 task에 활용할 수 있음 (semantic relatedness, paraphrase..

1. Sent2Vec Sent2vec은 문장 하나를 하나의 vector로 embedding하는 방법. Word2Vec 모델을 기반으로 만들어짐 2. Sent2Vec의 특징 2.1 Subsampling 비활성화 문장의 모든 n-gram을 조합하여 학습할 수 있도록, window size를 문장 전체로 고정하며, 중요한 n-gram 쌍 생성을 방해하지 않도록 subsampling을 사용하지 않음 2.2. Dynamic context window 비활성화 Sent2vec은 문장 전체의 의미를 살리기 위해, 문장의 모든 n-gram을 조합하여 학습함. Sent2Vec의 Context window 크기는 문장의 전체 길이로 고정함 (* n-gram: bi-gram의 최대거리 ) 2.3 단어 n-gram Sent2..

1. Background of Word Embedding 모든 word embedding 관련 학습은 '비슷한 분포를 가진 단어는 비슷한 의미를 가진다'는 가정에 입각하여 이루어진다. (=Distributional Hyphothesis) 비슷한 분포를 가졌다는 것은 기본적으로 단어들이 같은 문맥에서 등장한다는 의미이며, 단어들이 같이 등장하는 일이 빈번하게 일어난다면, 단어들이 유사한 의미를 가진다는 것을 유추할 수 있다. 이러한 식으로 단어들의 관계에 대해 파악할 수 있다. 2. Word2Vec 기존 Neural Net 기반 학습방법에 비해 크게 달라진 것은 아니지만, 계산량이 현저하게 적어서 사람들이 많이 사용하는 방법이 되었다. 또한, Word2vec은 기존 연구와 다르게 학습을 위한 모델이 2가지..

Title: Manufacturing process similarity measurement model and application based on constituent process elements Proposed Method Manufacturing technique process is established on the basis of six dimensions of process constituent elements Solve the similarity based on each dimension Determine the weights of dimensions of the six elements Keywords: manufacturing technique process, similarity, cons..

Title: Reciptor: An Effective Pretrained Model for Recipe Representation Learning Authors: Diya Li, Mohammed J. Zaki Summary a joint approach for learning effective pretrained recipe embeddings using both the ingredients and cooking instructions a novel set transformer-based joint model to learn recipe representations that preserve permutation-invariance Framework Tags data: Model Validation에 사용..

Title: Recipe representation learning with networks Authors: Yijun Tian, Chuxu Zhang Summary Recipe representation learning with networks to involve both the textual feature and the structural, relational feature into recipe representations Present RecipeNet a large-scale corpus of recipe data Propose rn2vec a novel heterogeneous recipe network embedding model Combine the objective function of n..

Permutation Invariant Adjacency matrix의 순서가 바뀌더라도 그 output이 바뀌지 않는 함수의 특성 A: Adjacency matrix, P: 행/열의 순서를 바꾸는 permutation matrix 아래의 식을 통해, adjacency matrix 내 순서가 바뀌어도 함수의 결과가 바뀌지 않는다는 것을 확인할 수 있음 Permutation Equivaraince Adjacency matrix의 순서가 바뀌는 대로 output의 순서도 바뀌는 함수의 특성

Title: Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks Authors: Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, Yee Whye Teh 0. Abstract 다양한 ML tasks는 set의 순서에 의존하지 않는 *permutation invariant한 특성을 반영하지 못함 기존 모델의 이러한 한계로, Attention-based neural network model인 Set Transformer를 제안함 Set Transformer는 input set 내 요소들의 interaction을 반영할 수 있도록 설계..

Transformer Transformer's contribution 이전의 RNN model이 불가능했던 병렬 처리를 가능하게 함 Attention 개념을 도입해 특정 시점에 집중 Positional Encoding을 사용해 sequential한 위치 정보 보존 masking을 적용해 이전 시점의 값만이 이후에 영향을 미치도록 제한 Transformer 모델 Transformer의 구조 : input sentence를 넣어서 output sentence를 생성해내는 모델. input과 동일한 sentence, input의 역방향인 sentence, 같은 의미의 다른 언어로된 sentence를 만들 수 있음. 이는 train 과정에서 어떤 것을 label로 두고 학습하느냐에 따라 다름. Encoder E..