Research Notes

1. 머신러닝의 개념과 용어 ▶ Machine Learning(머신러닝, 기계학습) : 개발자가 일일히 지정하지 않고 프로그램 자체가 학습하는 프로그래밍 ​ ▶ 머신러닝의 종류(학습의 방법에 따라 다름) 1. Supervised Learning(지도학습) : 정답(labeling)이 있는 데이터들을 이용하여 학습. - ex) 이미지 분류, 스팸 메일 필터링, 스팸 메일 필터링 - Training Data set(X, Y값 ; X는 데이터, Y는 정답) - supervised learning의 종류 · regression(회귀) : 시험 성적을 예측하는 경우 · binary classification(이진 분류) : 시험 성적의 pass/non-pass를 나누는 경우 · multi-label classif..

Research Question Is there a task and a corresponding loss that will allow us to learn highly generic sentence representations? Proposed Methods generic sentence embedding/representation을 통해, 현재 문장을 가지고 이전/이후 문장을 예측할 수 있는 모델을 개발함 단어 확장 방법(vocabulary expansion method)을 통해, encode된 word가 학습 시에만 활용되는 것이 아니라 수만개의 단어로 확장될 수 있도록 함 학습 후, 추출된 vector들은 8가지 task에 활용할 수 있음 (semantic relatedness, paraphrase..

1. Sent2Vec Sent2vec은 문장 하나를 하나의 vector로 embedding하는 방법. Word2Vec 모델을 기반으로 만들어짐 2. Sent2Vec의 특징 2.1 Subsampling 비활성화 문장의 모든 n-gram을 조합하여 학습할 수 있도록, window size를 문장 전체로 고정하며, 중요한 n-gram 쌍 생성을 방해하지 않도록 subsampling을 사용하지 않음 2.2. Dynamic context window 비활성화 Sent2vec은 문장 전체의 의미를 살리기 위해, 문장의 모든 n-gram을 조합하여 학습함. Sent2Vec의 Context window 크기는 문장의 전체 길이로 고정함 (* n-gram: bi-gram의 최대거리 ) 2.3 단어 n-gram Sent2..

1. Background of Word Embedding 모든 word embedding 관련 학습은 '비슷한 분포를 가진 단어는 비슷한 의미를 가진다'는 가정에 입각하여 이루어진다. (=Distributional Hyphothesis) 비슷한 분포를 가졌다는 것은 기본적으로 단어들이 같은 문맥에서 등장한다는 의미이며, 단어들이 같이 등장하는 일이 빈번하게 일어난다면, 단어들이 유사한 의미를 가진다는 것을 유추할 수 있다. 이러한 식으로 단어들의 관계에 대해 파악할 수 있다. 2. Word2Vec 기존 Neural Net 기반 학습방법에 비해 크게 달라진 것은 아니지만, 계산량이 현저하게 적어서 사람들이 많이 사용하는 방법이 되었다. 또한, Word2vec은 기존 연구와 다르게 학습을 위한 모델이 2가지..

Permutation Invariant Adjacency matrix의 순서가 바뀌더라도 그 output이 바뀌지 않는 함수의 특성 A: Adjacency matrix, P: 행/열의 순서를 바꾸는 permutation matrix 아래의 식을 통해, adjacency matrix 내 순서가 바뀌어도 함수의 결과가 바뀌지 않는다는 것을 확인할 수 있음 Permutation Equivaraince Adjacency matrix의 순서가 바뀌는 대로 output의 순서도 바뀌는 함수의 특성

1. Graph Graph의 구성 Graph Representation Degree Neighborhood Normalization 2. Graph Neural Networks(GNN) GNN Tasks GNN Learning Process GNN Variants 1. Graph 1) Graph의 구성 Graph Data Structure는 Node(그래프 하나의 원소)와 Edge(노드들 간의 연결 관계)로 이루어져 있다. Graph G = (V, E) V: nodes, E: edges, weight(edge property) Graph Data: Data 간의 Relation이 포함되어 있는 Data임. node들 간의 관련성을 표현하는 것이 매우 중요함 Graph는 Directed Gra..

1. Key, Query, Value 2. Self-Attention 3. Attention in Transformer 1. Key, Query, Value Key(K), Query(Q), Value(V)는 Attention의 핵심 키워드. Key, Query, Value의 특징은 아래와 같음 Dictionary 자료 구조이므로, Query와 Key가 일치하면 Value를 리턴함 Dictionary 자료형의 결과 리턴 과정 (attention score를 계산하는 과정과 유사) 1) key와 value의 유사도를 계산 2) 유사도와 value를 곱함 3) 유사도와 value를 곱한 값의 합을 리턴 K, Q, V가 Attention에서는 어떻게 사용될까? Attention이란, query와 k..

1. Survival Analysis 란? Survival Analysis(생존 분석)은 어떤 사건의 발생 확률을 시간이란 변수와 함께 파악하는 통계분석 및 예측 기법이다. Survival Analysis는 Healthcare 분야에서 많이 사용된다. 시간에 따른 환자의 수명을 예측한다거나 나이가 듦에 따라 질병에 걸릴 확률을 계산하는 것이 대표적인 예시이다. Survival Analysis에서 중요한 것은 시간이 흐르며 사건이 발생할 확률이 변한다는 것이다. 기존에는 어떤 일이 발생할 확률을 "Yes or No"라고 했다면, Survival Analysis는 "환자가 t 시점에서 사망할 확률은 a %이다"라고 대답한다. 2. Survival Analysis 용어 정리 Survival Analysis의 ..