[DL] Sent2Vec (Sentence2Vec)

1. Sent2Vec 

Sent2vec은 문장 하나를 하나의 vector로 embedding하는 방법. Word2Vec 모델을 기반으로 만들어짐 

2. Sent2Vec의 특징 

2.1  Subsampling 비활성화 

문장의 모든 n-gram을 조합하여 학습할 수 있도록, window size를 문장 전체로 고정하며, 중요한 n-gram 쌍 생성을 방해하지 않도록 subsampling을 사용하지 않음

2.2. Dynamic context window 비활성화 

Sent2vec은 문장 전체의 의미를 살리기 위해, 문장의 모든 n-gram을 조합하여 학습함. Sent2Vec의 Context window 크기는 문장의 전체 길이로 고정함 (* n-gram: bi-gram의 최대거리 )

2.3 단어 n-gram

Sent2Vec에서는 단어 단위의 n-gram을 적용함. 여기에서 n-grma은 bi-gram의 최대 거리를 뜻함. 예를 들어, 문장이 (A,B,C,D,E)가 있다고 할 때, 단어 n-gram 3: (A), (A,B), (A,C) / 단어 n-gram 4: (A), (A,B), (A,C), (A,D) , 이런 조합이 만들어짐. 이 조합을 Context로 하여 학습하고, n-gram의 확장은 뒤로 하되 이전 단어는 포함하지 않음. Sent2Vec에서는 마찬가지로 Target vector를 갖도록 학습을 진행함 

 

* Sent2vec의 base인 Word2vec 설명

https://jiachoi.tistory.com/19

[DL] Word2vec