Research Notes

Title: Manufacturing process similarity measurement model and application based on constituent process elements Proposed Method Manufacturing technique process is established on the basis of six dimensions of process constituent elements Solve the similarity based on each dimension Determine the weights of dimensions of the six elements Keywords: manufacturing technique process, similarity, cons..

Title: Reciptor: An Effective Pretrained Model for Recipe Representation Learning Authors: Diya Li, Mohammed J. Zaki Summary a joint approach for learning effective pretrained recipe embeddings using both the ingredients and cooking instructions a novel set transformer-based joint model to learn recipe representations that preserve permutation-invariance Framework Tags data: Model Validation에 사용..

Title: Recipe representation learning with networks Authors: Yijun Tian, Chuxu Zhang Summary Recipe representation learning with networks to involve both the textual feature and the structural, relational feature into recipe representations Present RecipeNet a large-scale corpus of recipe data Propose rn2vec a novel heterogeneous recipe network embedding model Combine the objective function of n..

Title: Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks Authors: Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi, Yee Whye Teh 0. Abstract 다양한 ML tasks는 set의 순서에 의존하지 않는 *permutation invariant한 특성을 반영하지 못함 기존 모델의 이러한 한계로, Attention-based neural network model인 Set Transformer를 제안함 Set Transformer는 input set 내 요소들의 interaction을 반영할 수 있도록 설계..

Transformer Transformer's contribution 이전의 RNN model이 불가능했던 병렬 처리를 가능하게 함 Attention 개념을 도입해 특정 시점에 집중 Positional Encoding을 사용해 sequential한 위치 정보 보존 masking을 적용해 이전 시점의 값만이 이후에 영향을 미치도록 제한 Transformer 모델 Transformer의 구조 : input sentence를 넣어서 output sentence를 생성해내는 모델. input과 동일한 sentence, input의 역방향인 sentence, 같은 의미의 다른 언어로된 sentence를 만들 수 있음. 이는 train 과정에서 어떤 것을 label로 두고 학습하느냐에 따라 다름. Encoder E..

Transformer는 구글이 발표한 논문인 "Attention is All you Need"에서 나온 모델이며, Encoder-Decoder를 따르면서도 Attention만으로 구현한 모델이며 자연어 처리의 한 획을 그은 개념입니다. 자연어처리(NLP: Natural Language Processing) 분야를 발전시킨 모델이며, BERT 등의 최신 Text 모델에서 기본적으로 사용하는 구조입니다. 이 논문을 읽는 이유: 모델을 Explainable하게 설계할 수 있는 Attention 개념을 공부하여, 이 개념이 적용된 다른 DL(Deep Learning) 알고리즘을 이해하여 응용하기 위함입니다. 기존 자연어처리..