[Time-Series data] RNN 기반 다변량 시계열 데이터 회귀모형

🧑🏻‍💻용어 정리
 
Non-Sequential vs. Sequential

 

Time-Series Data

• Sequential Data라고 생각할 수 있습니다.
• Non-Seuential Data는 시간 정보를 포함하지 않고 생성되는 데이터입니다.
  • 순차 데이터가 아닌 경우 데이터는 우리가 관측하는 Data의 개수인 N과 변수의 개수인 D를 곱한 행렬로 이루어집니다.
• Sequential Data는 시간 정보를 포함하여 순차적으로 생성되는 데이터입니다.
  • 순차데이터의 경우 데이터는 N by T by D Tensor(또는 array)로 표현됩니다.
  • 과거의 정보가 계속적으로 누적해서 전달이 되는 구조입니다.
  •  x에서 hidden layer, 그리고 출력 y로 가는 구조에서 이러한 자기 자신을 참조로 하는, h에서 h로 연결이 되는 구조가 있기 때문에 이러한 인공신경망을 순환신경망이라고 합니다.
• 이 순환 신경망을 Vanlia RNN이라고 합니다.
• hyperbolic tangent function (tanh)를 f라는 활성함수로 가정합니다.
  • 얼마만큼 틀렸는지를 확인 후, 역 방향으로 어떻게 해야 가장 현재 입력과 출력의 쌍을 잘 맞출 수 있는 것인지를 보는 것이 back propagation의 목적입니다.
  • chain rule을 이용해서 gradient를 편미분하여 구합니다.
    • 이 경우, 1 - tanh^2 함수의 특성으로 인해 gradient exploding problem이 발생합니다.
    • 이것을 해결하기 위해 LSTM, GRU이 쓰입니다.
    • 양방향 순환신경망을 통해 정보의 입력을 시간의 순방향과 역방향 관점에서 함께 처리합니다.
    • Deep-Bidirectional RNN도 사용됩니다. 이는 여러 가지 hidden layer를 쌓는 기법입니다.
    • 그러나 RNN은 CNN과 다르게 층을 깊게 쌓는 것이 좋은 것만은 아닙니다. 일반적으로 2 ~ 4개의 층이 max가 됩니다.
    • attention 은 어느 시점 정보가 RNN의 최종 출력 값에 영향을 미치는지를 알려줄 수 있는 매커니즘입니다.
      • Bahadanau attention
      • Luong attention