[Transformer] Part 5

🧑🏻‍💻용어 정리

Transformer

 

Transformer

• RNN과 CNN 없이 attention module만으로 전체 Sequence를 입력 및 출력으로 처리할 수 있는 동작이 이루어집니다.
• RNN model의 Long-term Dependency Issue가 존재합니다.
  • 입력으로 주는 h t에 정보가 변질되지 않고 잘 축적되어 있어야 합니다.
  • 저 멀리있는 곳에서 학습 데이터 소실이 일어났다면, gradient signal을 저 멀리 있는 time step까지 전달해 줘야 하는데, 여러 time step에 걸쳐서 gradient 정보가 전달되면서, 정보가 변질되는 문제가 생겨 학습이 제대로 이루어지지 않을 수 있습니다.
• 그래서, transformer model에서 attention model을 사용해서 sequence data를 encoding할 때에는, time step 간의 차이가 멀 때, 즉, long-term dependency의 이슈를 근본적으로 해결합니다.
• 거리에 상관 없이 바로바로 접근하여 데이터를 잘 축적할 수 있는 형태로 만듭니다.
• Seq2seq and attention model에서는 정보를 찾고자 하는 query에 해당하는 decoder hidden state vector는 저희가 정보를 꺼내가려고 하는 재료에 해당하는 encoder hidden state vector와는 분리가 된 상황이었습니다.
• 이 query vector를 재료 vector들과 같은 주체로서 생각한다면, sequence를 attention model을 통해 encoding 할 수 있습니다.
• 이런 Sequence data 를 encoding 할 때, 쓰이는 attention module을 self-attention이라고 부르게 됩니다.
• sequence data 각각의 것을 전체 sequence에서의 가중합을 통해 유사도를 판정합니다.

 

출처 : https://wikidocs.net/162099

 

 

• 변환된 vector를 query vector로 사용합니다.
• vector 연산에 있어서, query vector, key vector, value vector로 나뉩니다.

 

Scaled Dot-product Attention

• softmax 값이 하나의 Peak이 뜨게 되어 학습이 잘 이루어지지 않게 됩니다.
• dk라는 요소가 원치 않게 attention weight의 softmax의 입력으로 사용되는는 logit vector의 어떤 분포의 분산 값에 영향을 주는 만큼, 이 영향력을 없애기 위해서 이런 key vector와 query vector 간에 각각의 measure 값에 key vector 혹은 query vector에 dimension의 루트 값을 나눠 줌으로써 일정한 분산 값을 가지도록 하는 추가적인 장치를 만들어주게 됩니다.

 

Multi-head Attention

• Scaled dot product 기반의 self-attention module을 좀 더 다양한 형태로 확장한 것입니다.
• 주어진 Sequence의 각각의 입력 vector 들을 encoding할 때, Wq, Wk, Wv를 하나의 정해진 변환으로 attention module을 수행해서 Sequence를 encoding하게 될 것입니다.
• 단어 encoding 시에, 그 사람이 어떤 행동을 했는가에 대한 정보를 위주로 encoding 할 수도 있고, 시간, 장소 정보 등 다양한 정보를 추출하는 필요성을 생각할 수 있습니다.
• 어떤 기준으로 만들 것인지를 결정하는 세 개의 선형 변환의 Matrix를 여러 개 set를 두어서 각 set를 통해 변환된 query, key, value vector들을 사용해서 attention model을 통해 sequence의 각 단어들을 encoding하고 각 set에 선형 변환을 사용해서 나온 attention model의 Output 들을 나중에 concat하는 형태로 정보를 합치는 식으로 합니다.
• 다양한 기준과 다양한 정보를 바탕으로 sequence를 encoding한 그런 형태로 확장을 하게 됩니다.
• attention을 여러 개의 linear transformation set를 사용해서 attention을 수행한다고 하여 multi-head attention이라 합니다.
• 추가적인 linear transformation을 거쳐서 원하는 Dimension으로 만들 수 있습니다.
• long-term dependency 문제를 해결할 수 있습니다.
• 메모리 복잡도가 높다는 것이 단점이 되겠습니다.

 

출처 : https://wikidocs.net/162098

 

• Output vector와 Input vector의 dimension을 같게 하는 이유는 residual network에서 나온 Skip connection을 사용하기 위함입니다.
• 결과로 나온 vector에 대하여 평균과 분산을 계산하고, 그것을 평균과 분산이 각각 0과 1이 도디도록 하고, 그 다음 수들에 대해 y = ax + b 꼴로 만드는 affine transformation을 수행하게 됩니다.
• positional encoding 은 순서를 구분하지 못 하는 self-attention model의 단점을 보완하고자 단어의 문장에서의 위치를 나타냅니다.
• 위치에 따라 같은 단어도 다른 vector로 나오게 됩니다.
• cheating의 문제를 막기 위해 masking이라는 것을 이용해 query들이 바로 다음 단어들을 보지 못 하도록 그 다음 값들의 logit 값을 마이너스 무한대로 바꿉니다.  이러한 Masked self-attention 과정을 거칩니다.

 

출처 : https://www.quora.com/How-does-the-relative-positional-encoding-in-a-transformer-work-and-how-can-it-be-implemented-in-Python

 

 

 

• 최초로 기계 번역 task에 쓰여서 RNN 기반, convolution 기반의 sequence를 encoding하는 model들 보다 좋은 성능을 나타냈습니다.
• Long-term dependency를 근본적으로 해결하여 좋은 성능을 낼 수 있었습니다.
• 자연어 처리 뿐 아니라 다른 영역에도 확장 되어 좋은 성능을 보여주고 있습니다.
• 또한, transformer에서 제한된 Layer 수를 더 많이 늘리되, transformer에서 제한된 block 자체의 그 설계 혹은 디자인은 그대로 계승하여 model size를 점차 늘리되, self-supervised model을 점목시켜 task의 성능을 늘립니다.
• time step 마다 예측한다는 auto regressive model의 한계를 여전히 가지고 있습니다.