[Deep Learning] Recurrent Neural Network (2) - LSTM

🧑🏻‍💻용어 정리

Neural Networks
Feed-forward
Backpropagation
Convolutional Neural Network
Recurrent Neural Network
LSTM
Attention
Cell state
forget gate
input gate
output gate

이전 시간까지 RNN의 여러 가지 종류에 대해 알아보았습니다.

 

조금 더 살펴봅시다.

 

RNN의 단점

RNN을 쭉 연결시켜 놓고 보니,

 

특히 Encoder, Decoder 부분에서 확연히 들어나는 이 특징은,

 

너무 입력되는 문장이 길다보니,

 

Long-Term Dependency 문제가 발생합니다.

 

 

input signal의 정보를 h t에 과거에서부터 계속 모아옵니다.

 

그런데 과거의 더 이전 시점의 무언가가 필요해질 경우,

 

이 chain이 너무 길어서 까먹는 경우가 발생합니다.

 

즉, short term memory만 남아있는 것입니다.

 

그래서 일반적인 RNN은 long-term dependency를 고려하지 못하여 long-term memory를 만들어야한다고 생각합니다.

 

LSTM(Long-Short Term Memory)

 

그래서 보완된 모델이 LSTM입니다.

 

long과 short를 다 고려하겠다는 뜻입니다.

 

사실상 RNN은 short term 위주로 보니, 이것으로 long term도 보겠다는 것입니다.

 

위는 RNN이고,

 

아래는 LSTM입니다.

위 RNN 구조를 그림으로 그리면 이렇습니다.

 

지금까지 우리가 봐온 것과 같죠?

 

왜 이렇게 복잡하게 그렸을까요?

 

LSTM의 위 복잡한 구조를 설명하기 위함이며,

 

지금 새로 그린 RNN 구조와 다를 게 없다는 것을 알고 가봅시다.

 

그래서 우리가 앞에서 언급한 pattern 1,2,3, Seq2Seq, one2many, many2one 이러한 구조들이 똑같이 다 적용됩니다.

 

그저 hidden node 내부에서 벌어지는 일만 복잡하게 변경되었다고 보시면 됩니다.

 

새로운 구조는 아니며, hidden node 내부에서 정보를 처리하는 방식만 바꿔준 것입니다.

 

그럼 그 방식을 하나씩 뜯어봅시다.

 

Cell state

LSTM에서 가장 중요한 것이 Cell state입니다.

이것은, context라고도 부르며 long-term memory라고도 부릅니다.

 

이것은 self-connection을 통해서 위를 쭉 지나갑니다.

 

쭉 관통해서 지나갑니다.

 

순환 없이 지나갑니다.

 

이것은 과거로부터 오고, 뭔가 두 번의 operation을 거쳐서 현재의 context로 바뀝니다.

 

LSTM에는 총 3가지의 문이 존재합니다.

 

 

이 forget gate에서는 과거로부터 오는 정보들을 얼마나 잃어버릴지를 결정합니다.

 

즉, 과거로부터 오는 context를 얼마나 통과시킬 것인지를 결정합니다.

 

1에 가까워 진다면, 과거의 정보들을 전부다 유지시킨다고 보면 되고, long-term memory에 계속 기억한다고 봅니다.

 

0에 가까워 진다면, 지금까지 과거로부터 구성되어 온 이 정보는 현재 시점에서 쓸모가 없으니 다 갖다 버리라는 것입니다.

 

이 gate는 0 ~ 1 사이에서 bound가 되어야 합니다.

 

그래서 sigmoid를 사용합니다.

 

그래서 그림의 우측 수식과 같은 수식이 됩니다.

 

이것이 hidden node 계산과 식은 같지만, W f와 b f는 trainable parameter입니다.

 

우선, forget gate라는 디자인을 해두고, 이 forget gate의 역할은 학습 데이터에 따라 학습이 되는데,

 

W와 b를 우리가 쓸 수 있는 정보에 잘 조작해서 이 gate에 대해 얼마나 반영할지를 잘 결정하라는 것이 됩니다.

 

결국 구조만 짜놓고 Backpropagation에 책임을 전가시키는 느낌이 되겠습니다.

 

 

그리고 두 번째 문을 살펴보겠습니다.

 

두 번째 문은 Input gate입니다.

 

금방 C t의 값이 결정 되는 것에 대해서 C t-1의 과거의 정보가 얼마나 결정될지, forget gate의 곱하기를 통해서 결정되고,

 

그리고 더하기의 과정이 하나 남았습니다.

 

여기서는 현재의 정보를 더해줍니다.

 

현재 정보는 위와 같이 C t의 수식으로 hidden node에서 activation 시켜주는 것과 같이 연산됩니다.

 

이 C t는 현재 정보의 후보가 됩니다.

 

이 또한, 그냥 더하는 것이 아닌 얼마나 반영시킬지를 곱하여 반영시킵니다.

 

이것은 C t-1이 들어오는 것과 대칭이 되는, 같은 연산으로 이루어집니다.

 

여기서의 곱하기는 i인 input gate이고, 똑같은 sigmoid에 같은 input data를 사용하는데,

 

또 다른 trainable parameter를 사용하여 문을 만들어 준 것입니다.

 

그래서 위와 같이 input 후보가 결정 되고, 이 input 후보에 대해서 얼마나 받아들일지 결정하는 input gate가 존재합니다.

 

결국, 새로운 정보를 우리가 context에 얼마나 반영할 것인지 보는 것입니다.

 

input gate, forget gate는 모두 context에 얼마나 반영할지를 보기 위함입니다.

 

그래서 새로운 context를 계산합니다.

 

이 값은 forget gate * 과거 + input gate * 현재 input의 후보로 계산이 됩니다.

 

예를 들어, forget gate, input gate가 각각 0.9, 0.1이라면 과거는 많이, 현재는 적게 반영해라 입니다. 즉, long-term memory가 되죠.

 

0.1, 0.9의 형태라면 과거에 있는 거 조금만 남기고 현재의 것을 반영해라가 됩니다.

 

이렇게 새로운 context가 구성이 됩니다.

 

지금 얘기한 것이 context에 대한 이야기 입니다.

 

hidden node에 대한 이야기는 아직 안 했습니다.

 

그리고 3번째 마지막 문인 output gate에 와서야 드디어 hidden node의 값을 계산하게 됩니다.

 

또 다른 output gate를 만들어주고,

 

context를 activation 후 Output gate에 통과시키면서 hidden node의 output을 이제서야 만들어주게 됩니다.

 

그래서 이 값을 상위 layer로 올려주고, t + 1의 다음 단계로도 보내줍니다.

 

그래서 앞에 나온 이야기를 다 요약해보자면 다음과 같습니다.

 

결국 RNN과 같은 구조인데,

 

Hidden node 안에서 operation만 더 많아진다고 볼 수 있습니다.

 

 

 

 

이 모든 것은 위 cell state 혹은 context 혹은 long-term memory를 만들어주기 위함입니다.

 

RNN은 기본적으로 parameter가 2 sets 필요하다고 합니다.

 

그런데, LSTM은 기본적으로 parameter가 8 sets 필요하여, 4배 이상 소요됩니다.

 

 

RNN도 computer가 힘들어하는 연산이지만, LSTM은 그것에 어림잡아 4배 더 많은 연산이 듭니다.