[Deep Learning] Recurrent Neural Network (1)

🧑🏻‍💻용어 정리

Neural Networks
Feed-forward
Backpropagation
Convolutional Neural Network
Recurrent Neural Network
Propagation
unfolding
fold
unfolding computational graph

 

우리가 지금까지, 여러 가지 기술들을  MLP를 기준으로 공부해왔습니다.

 

그러한 것으로부터 Deep MLP부터 성공적인 구조인 CNN까지 공부를 해봤습니다.

 

또 다른 성공적인 구조인 RNN에 대해 공부해보겠습니다.

 

 

Recurrent Neural Network

 

 

이 RNN model도 1986년에 이미 제안이 되어온 model입니다.

 

결국 이 RNN도 Neural Network의 specialized form입니다.

 

이 RNN은 data가 sequential 할 때, 더 잘 작동하는 form이라고 볼 수 있습니다.

 

 

이러한 값들이 x 1부터 x t그리고 x 타우 시점까지 순차적인 sequence를 이루는 구조라고 볼 수 있습니다.

 

그래서 아래 그림에서 input, hidden, output node의 모습이 이어진 것을 볼 수 있습니다.

 

왼쪽에 있는 것을 오른쪽에 있는 것으로 펼치면 unfold 접으면 fold 형태가 됩니다.

 

 

hidden에서 순환하는 형태를 가지고 있습니다.

 

그리고, 주의깊게 볼 부분은, input, state, output은 t 시점이 존재하지만, W, V, U라는 parameter는 항상 똑같은 값이 들어오게 됩니다.

 

앞에서 배운 parameter sharing의 개념이 적용된 형태입니다.

 

 

 

그래서 Unfolding의 개념은 다음과 같이 볼 수 있습니다.

 

parameter sharing을 하며, 반복적으로 operation이 되는 structure 혹은 chain of events입니다.

 

위 수식과 같이,

 

t 시점의 state를 s t-1의 형태에 대해서 세타라는 parameter를 가지고 변환하는 것입니다.

 

그래서 이 세타는 세타 t가 아닌 매 시점마다 같은 parameter값이 적용된다는 것입니다.

 

Unfolding Computational Graph

 

 

그래서 이 세타 값에 의해 state가 계속 변화해 나갑니다.

 

여기서 적용되는 function은 세타에 대한 function입니다.

 

이것을 Directed acyclic computational graph라고 합니다.

 

방향을 가지는 순환되지 않는 NN의 computational graph입니다.

 

 

이것은 다음의 특징을 가집니다.

 

• Traditional dynamical system
• Without any recurrence

이러한 것들을 state transition model이라고 합니다.

 

state가 계속 변화하는 model입니다.

 

이것은 아직까진 순환적인 특성은 가지고 있지 않습니다.

 

그냥 state가 transition될 뿐이죠.

 

 

 

여기에 입력을 매 시점마다 넣어준다면,

 

입력에 따라 state가 순환되는 위와 같은 구조를 가집니다.

 

 

t 시점에서 input에 대해서 hidden state를 만드는데, 똑같은 U라는 parameter가 들어갑니다.

 

그런데 여기서 이전 시점의 hidden 정보가 다음 시점으로 transition되며 W parameter까지 함께 고려됩니다.

 

혹은 다른 state transition 관점에서 생각해보면,

 

state가 transition하는 model인데, 각 시점에 input signal이 들어오는 것으로 볼 수도 있습니다.

 

 

이 경우, hidden state를 만드는 식, 이전 시점의 hidden state와 input이 영향을 미치며, 

 

여기서 parameter 세타는 U와 W의 set이 될 것입니다.

 

이렇게 순환되는 구조에서는,

 

어떤 시점의 hidden state는 그 전 시점의 모든 입력 signal들의 총 합이라고 볼 수 있습니다.

 

그래서 위와 같이 t 시점의 hidden state는 lossy summary로 정보를 다소 잃어버리는 summary라고 볼 수 있습니다.

 

하지만 첫 input부터 모든 t까지의 모든 input들을 summary한다고 봅니다.

 

또, t 시점의 hidden state는 다소 정보들을 잃어버릴지라도 최근 정보들을 위주로 정보를 요약해 놓습니다.

 

위 chain이 길어지면 과거의 정보들을 꽤나 소실하게 될 것입니다.

 

parameter가 곱해지며 오기 때문입니다.

 

그런데 최근 몇 시점의 신호들은 남아있을 가능성이 높습니다.

 

이론 적으로 말하자면, t시점 이전의 모든 input signal들의 값이 t 시점의 hidden state에 저장이 된다고 볼 수 있습니다.

 

 

그것을 그림으로 표현하면 위와 같습니다.

 

해당 영향을 주는 function을 g(t)라고 한다면,

 

x1 ~ x t까지의 값들이 모두 t시점의 hidden state에 위와같이 영향을 줍니다.

 

과거의 모든 signal의 값을 현시점의 state에 계속해서 누적해 나가는 것입니다.

 

RNN의 여러 가지 구조를 살펴보겠습니다.

 

1번과 같이 hidden에서 매번 recurrent connections이 발생하며 매 시간 output이 나옵니다.

 

이 1번이 대표적인 구조이지만,

 

요새는 Transformer와 같은 구조들이 많이 나와서 대표까진 보기 어렵지만 default로 생각됩니다.

 

 

2번째는 그 전 시점의 output에서 그 다음 시점의 hidden state로 순환이 이루어집니다.

 

3번째는 전체 sequence를 통틀어 output이 하나가 존재하는 구조입니다.

 

 

pattern 1

 

첫 번째 패턴을 보겠습니다.

 

매 시점에 input이 hidden state로 가고, hidden state가 output으로 가고, output에 대해 loss가 계산되는데, loss 계산을 위해선 y값이 필요하여 y값도 들어오는 구조입니다.

 

위와 같이 hidden state 사이에서 순환이 되는 구조를 가장 대표적인 RNN 구조로 볼 수 있습니다.

 

 

좌측의 fold된 사진에서 화살표는 Weight가 곱해져서 순환이 되는 구조임을 의미합니다.

 

그리고 Weight set이 시점에 상관 없이 parameter sharing을 통해 적용되는 것을 볼 수 있습니다.

 

 

pattern 2

 

두 번째 패턴은,

 

전 시점의 output에서 다음 시점의 hidden state로 순환이 되는 구조입니다.

 

hidden state 자체를 계속해서 누적하는 거랑, 한 번 정보를 왜곡을 시키고 (즉, softmax를 통한 확률값 변환) , 이러한 확률값을 주는 것이랑 정보가 많이 달라질 것입니다.

 

이러한 이유로 이 pattern은 잘 사용하지 않습니다.

 

 

 

pattern 3

 

위와 같이,

 

input이 매 시점에 존재하고 순환은 hidden state에서 되지만 output은 끝에 하나만 나오는 구조입니다.

 

그리고 위와 같이 loss도 계산하는 구조입니다.

 

이 구조는 많이 사용되며,

 

encoder, decoder 구조에서 응용되어 사용됩니다.

 

 

 

Forward Propagation

 

해당 forward propagation은 pattern 1에 대해 다루겠습니다.

 

사실 이 과정은 MLP와 크게 다를 게 없습니다.

 

 

위 a의 값은 summation 값으로 생각하시면 됩니다. 우리가 앞에서 다룬 net의 값이죠.

 

위 수식을 따라가면 h를 구할 수 있습니다.

 

그리고 RNN에서는 tanh가 기본 activation func. 입니다.

 

b, c는 bias 값입니다.

 

Backpropagation

 

 

Backpropagation 을 통해 오류가 모든 시점 전달 되어야 합니다.

 

그리고 컴퓨터 입장에선 계산이 매우 복잡합니다.

 

 

그리고 위에서 오는, output으로부터의 weight들도 고려해주어야 한다는 점을 고려해주어야 합니다.

 

 

Backpropagation through time

 

RNN에서의 Backpropagation을 Backpropagation through time라고 부릅니다.

 

 

특별한 기술이 필요한 것은 아니고,

 

전 시점의 hidden state에서 backward로 한 번 더 가져와야한다는 차이가 있습니다.

 

위와 같이 우리가 update 시켜줘야할 weight들이 위와 같이 존재합니다.

 

그리고,

 

Loss는 1 시점부터 타우시점까지 모두 존재합니다.

 

그래서 전체에 대해서 MLE(Maximum-likelihood estimation)를 해줘야합니다.

 

그런데 이것이 쉽지 않으니 매 시점 따로 계산하여 그것을 전체에 대한 Loss로 보자라는 것입니다.

 

원래는 전체에 대해서 joint probability를 계산하여야 하는데, 그러지말고 매 시점 독립적으로 구한 뒤 이 loss를 다 합친 것을 우리 network의 loss로 계산하자는 것입니다.

 

그래서 위 수식은 MLE에 - 붙인 - MLE 형태입니다.

 

 

 

 

다시 위 구조를 살펴봅시다.

 

 

먼저 위 수식에 의해 해당 L을 미분한 값은 1이 됩니다.

 

 

위 수식에서 보면 t 시점의 Loss를 y hat t로 미분합니다.

 

이 경우, cross entropy로 봤을 때 미분한다고 보면, 위와 같습니다.

 

그리고 y hat t를 o t로 미분하면 softmax 미분이므로, 위와 같습니다.

 

그런데 이 값은 y t가 1인 경우와 y t가 0인 경우로 나뉘며,

 

0인 경우는 0이 되므로 고려하지 않고, y t가 1인 경우에만 고려하여 위와 같은 수식을 작성합니다.

 

 

그리고 o t를 h t로 미분하면 그냥 V만 떨어져나오게 됩니다.

 

자, 그런데,

 

우측 그림의 파란색 화살표 부분도 구해야줘야합니다.

 

아래 수식을 봅시다.

 

 

우선, L부터 h까지의 부분은 지금까지 한 것과 같습니다.

 

중간 과정또한 위와 같이 볼 수 있습니다.

 

그리고 h t+1에 대한 식을 위와 같이 h t로 미분해야합니다.

 

위와 같은 과정으로 이루어집니다.

 

그리고 diagonal은 scalar를 matrix 연산 위해 붙여준 것입니다.

 

 

왼쪽식은 t + 1 시점, 오른쪽 식은 t 시점입니다.

 

이러한 것 때문에 컴퓨터 입장에서는 계산이 2배 이상은 들어가게 됩니다.

 

그리고 아래 수식은 weight 단위로 한 단계씩 더 미분값이 gradient로 전파가 되어서 실제 weight update 값을 구했다고 보시면 됩니다.

 

 

 

RNN Structure

 

RNN에는 굉장히 많은 structure가 존재합니다.

 

하나씩 봅시다.

 

Bidirectional

이 구조는 양방향으로, 최근에는 그냥 RNN 보단 양방향이 더 많이 사용됩니다.

 

hidden state들이 앞방향으로만 영향을 미치는 것이 아닌, 뒷방향으로도 영향을 미치는 구조를 살펴보는 것입니다.

 

과거의 데이터 뿐만 아니라 미래의 데이터에도 영향을 받는 것입니다.

 

 

hidden state h와 g는 같은 hidden state로 같은 기여를 합니다.

 

 

Encoder-Decoder

 

Encoder-Decoder 구조를 봅시다.

 

이것은 Sequence로 받아서 Sequence를 내놓는 형태도 있으므로,

 

Seq2Seq 구조라고도 합니다.

 

 

이것은 machine translation, QnA에서 많이 사용됩니다.

 

 

위와 같이 입력으로 sequence 하나가 통채로 들어옵니다.

 

이것이 hidden에서 계속 쌓여서 하나의 context를 이룹니다.

 

이것이 쭉 풀리며 출력 sequence를 만들어내는 구조입니다.

 

그리과 위와 같이 입력은 n x, 출력은 n y로 두 길이는 다를 수 있습니다.

 

encoder에서는 sequence를 모으기만하고,

 

이것이 context가 되어서 출력에서는 뱉어내기만 합니다.

 

 

 

그런데, 이 길이는 다를 수 있습니다.

 

여기서 값을 모으는 과정을 Encoding, 값을 뱉어내는 과정을 Decoding이라고 합니다.

 

 

Deep RNN

 

RNN에서도 Deep한 구조가 있습니다.

 

아래 그림을 봅시다.

 

 

그림에서 보면,

 

첫 번째는 input -> output 가는 순환 과정을 Deep하게 만든 것입니다.

 

layer를 늘려서 말이죠.

 

그리도 두 번째는,

 

recurrence에 depth를 주는 것입니다.

 

세 번째는 skip connection으로 순환을 여기 저기 한 것입니다.

 

skip connection은 depth가 길어지니 계속해서 초기 정보를 기억시켜주기 위함입니다.

 

긴 chain의 정보 손실을 방지해주는 것입니다.

 

그림은 위와 같습니다.

 

 

Single character example

 

 

word를 one-hot encoding을 한 것입니다.

 

최근에는 word embedding을 많이 합니다.

 

위와 같이 word 자체를 vector화 하여 입력으로 넣어줍니다.

 

위와 같이 출력의 probability에 대한 값을 뽑아내는 형태입니다.

 

 

그리고 weight 들은 위와 같이 parameter sharing이 이루어지는 것도 보면 됩니다.

 

 

RNN의 여러 구조를 다시 살펴봅시다.

 

 

 

• one to one
  • MLP
• one to many
  • Image captioning
• many to one
  • Text classification
  • Sentiment analysis
• many to many
  • Machine Translator
  •  

 

 

Sentiment analysis

-> 긍정 or 부정

 

 

Machine Translator

 

위와 같이 encoder에서 정보를 모두 모아 decoder에서 풀어냅니다.

 

decoder에서 input signal에 대해 나온 Output을 다시 입력으로 넣어주는 형태를 반복합니다.

 

 

 

Image captioning

 

input은 image으로,

 

representation learning으로 classification 후 마지막에 class에 대한 softmax 확률값이 들어옵니다.

 

이것을 입력으로 넣어서 translator 돌리듯이 돌립니다.

 

그것을 단어로 풀어서 내뱉는 순환 신경망을 붙이는 구조도 가능합니다.