목록Hierarchical Softmax (1)

Research Notes

[DL] Word2vec

1. Background of Word Embedding 모든 word embedding 관련 학습은 '비슷한 분포를 가진 단어는 비슷한 의미를 가진다'는 가정에 입각하여 이루어진다. (=Distributional Hyphothesis) 비슷한 분포를 가졌다는 것은 기본적으로 단어들이 같은 문맥에서 등장한다는 의미이며, 단어들이 같이 등장하는 일이 빈번하게 일어난다면, 단어들이 유사한 의미를 가진다는 것을 유추할 수 있다. 이러한 식으로 단어들의 관계에 대해 파악할 수 있다. 2. Word2Vec 기존 Neural Net 기반 학습방법에 비해 크게 달라진 것은 아니지만, 계산량이 현저하게 적어서 사람들이 많이 사용하는 방법이 되었다. 또한, Word2vec은 기존 연구와 다르게 학습을 위한 모델이 2가지..
Study/Deep Learning 2022. 9. 21. 19:38
이전 Prev 1 Next 다음