[NLP] Word Embedding - Skip Gram

🧑🏻‍💻 주요 정리
 
NLP
Word Embedding
Skip Gram

 

 

 

Skip Gram

 

skip gram은 CBOW 과정에서 Input과 output을 반대로 하는 것으로 볼 수 있습니다.

 

다음 그림을 보겠습니다.

 

위와 같이 sat을 input으로 넣고, 나머지 4개의 단어를 출력으로 받는 형태입니다.

 

 

 

위와 같이 W와 W'의 형태로 학습.

 

 

그리고, 위와 같이 단어에 대하여 vector 값을 embedding 작업을 거칩니다.

 

그러나, 우리는 여기서 다른 가치를 둡니다.

 

우리는 딥러닝에서 FeedForward를 통해 학습을 하고, 원래 값과 비교하여 정확도를 볼 수 있고,

 

loss 값을 통해 정확도의 판단 기준를 볼 수 있습니다.

 

그에 대한 확률 값은 softmax function을 통과하고 난 뒤 나옵니다.

 

그러나 우리는 이 학습된 weight가 필요한 것입니다.

 

정확도가 높은 것이 목적이 아닙니다.

 

결국, input과 output을 통해 나오는 Weight를 사용하는 것이 목적입니다.

 

 

해당 Skip Gram 과정은 아래와 같이 이루어집니다.

 

 

 

 

 

결국 Skip Gram은 위와 같이 학습을 통해서 Word Embedding vector를 사용해서 모델을 구축하는 것이 목적입니다.

 

결국 자연어 처리라는 것은 특정 단어를 one-hot vector로 표현하기 때문에 가능해집니다.