Glove(카운트 기반 + 예측 방법 )

보통 카운트 방법과 예측 기반 방법을 통해 단어 벡터를 표현하고, 그 중에서도 예측 기반 방법의 성능이 더 좋아서 주로 예측 기반 방법을 사용합니다. Glove 방식의 단어 임베딩은 두 가지 방법을 모두 포함하는 단어 표현 방법입니다.

특정 단어와 그 단어의 윈도우 내의 주변 단어들에 대한 빈도(카운트)를 예측하는 regression방식의 임베딩 방법입니다.

각 단어 별 co-occurrence를 전체 코퍼스에 대해 한 번 쭉 구한 후, 그 빈도를 예측하도록 regression을 수행합니다. 이러한 방식은 Skip-Gram 보다 학습 속도가 더 빠르고 출현 빈도가 적은 단어에 대해서도 비교적 벡터를 정확하게 구할 수 있습니다.