[Transformer] Time-Series Transformer

🧑🏻‍💻용어 정리
 
Transformer

 

Transformer

• NLP를 위해 만들어진 모델
• 특정 문장이 등장할 확률을 계산해주는 모델
• 이미지와 시계열로도 확장되어 사용이 되고 있습니다.
• Attention을 병렬적으로 사용합니다.
• encoder와 decoder 존재
• embedding vector
• semantic relationship
  • word imbedding
• positional encoding
• feed forward neural network
• self attention
  • query, key, value
  • 입력 벡터에 대해 세 개의 벡터 생성
  • query에 대한 Key 값
• multi-headed attention
• position-wise feed-forward neural network
• masked multi-head attention
• Linear Layer
• Softmax Layer
• batch normalization vs. layer normalization
• freeze
• TST