[Deep Learning] Deep Neural Network (4)

🧑🏻‍💻용어 정리

Neural Networks
Feed-forward
Backpropagation
Deep Neural Network
Optimization

 

 

 

 

 

Optimization

 

자, 세 번째 문제에 대해 얘기해 봅시다.

 

일반적으로 optimization에 대한 문제를 살펴봅시다.

 

아래 그림과 같이, 효율성의 증가는 정확도를 떨어뜨립니다. 즉, 둘은 trade-off 관계이죠.

 

결국, 효율성이라는 것은 속도와 유사한 것입니다.

 

정확도를 올리고싶으면 속도가 조금 더 낮아지게 되죠.

 

그리고, approximation이나 heuristic 같은 algorithm을 생각해봅시다.

 

속도를 높이기 위해, 조금 더 효율적인 solution을 찾기 위해 만들어진 방법들입니다.

 

당연히 정확도는 full-search와 같은 것들에 비교해서, 더 낮아지기 마련입니다.

 

그런데, Deep Learning 분야에서의 Optimization은 

 

효율성을 증가시키는 것 자체가, 우리가 training을 더 많이 해볼 수 있다는 것이 되고, 따라서 정확도가 증가한다는 의미가 됩니다.



1 epoch은 전체 training data를 다 본 상태입니다.

 

이것을 여러 번 iteration하며 데이터를 여러 번 봐야 정확도가 올라갑니다.

 

 

결국 Deep Learning은 최대한 효율적으로 training data를 통해 많은 epoch을 돌리고 있습니다.

 

그래야, 조금 더 높은 성능의 Model을 얻을 수 있는 것이죠.

 

 

그래서 위 그래프 두 개를 살펴봅니다.

epoch이 증가하며, error rate가 뭔가 수렴하는 모습이 보입니다.

 

그리고, gradient norm은 L2 Norm을 사용하며, gradient의 제곱값을 사용하죠.

 

그래서 위와 같이 gradient가 크게 증가하는 모습을 보입니다.

 

출처 : https://ai.stackexchange.com/questions/28365/is-y-i-hat-y-ix-i-part-of-the-formula-for-updating-weights-for-perceptro

 

gradient의 크기가 크다는 얘기는, 매 step 마다 weight가 많이 update되고 있다는 의미입니다.

 

그렇다면,

 

error rate은 수렴하는 것처럼 보이지만, weight는 아직도 많이 update 되고 있는 것입니다.

 

그렇다면, 최적화 자체는 수렴이 안 됐지만, error rate가 수렴이 된 것처럼 보이는 것입니다.

 

 

일단, 효율적인 Algorithm으로 최대한 많은 데이터를 최대한 많이 epoch 해보자는 것입니다.

 

 

Stochastic Gradient Descent

 

우리가 지금까지 얘기한 Gradient Descent는 두 가지 버전이 있습니다.

 

• Online learning
• Batch learning

 

 Batch learning은 전체 데이터를 한 번 다 보고 weight를 업데이트하는 것이라면, online learning은 데이터를 한 point만 보고 update합니다.

 

 

그런데, 우리가 주로 사용하는 것은, 전체 데이터에서 small size의 subset data를 뽑아낸 다음, 그것을 batch 삼아 학습을 하는 것이 mini batch 방식입니다.

 

이러한 방식이 Stochastic Gradient Descent라고 보시면 됩니다.

 

그래서 위 Algorithm에 적힌 대로, sample을 뽑아서 그것을 training data로 사용하여 training합니다.

 

그렇다면 정확도가 떨어질 거라고 생각할 테지만, iteration을 많이 할 수록 upper bound가 줄어듭니다.

 

 

최근 Deep Learning Algorithm들은 SGD를 깔고 간다고 보면 됩니다.

 

훨씬 효율적이지만, 정확도에서는 큰 차이가 나지 않죠. epoch 수를 충분히 늘렸다면 말입니다.

 

 

Momentum

 

Weight update = current gradient + past gradient

 

이것은 NN에 원래 있는 개념입니다.

 

아래 그림과 같이 weight가 여기 저기로 update 되지만, 빨간색처럼 update가 되는 것입니다.

 

즉, 원래 update 되어야 하는 것에 현재 momentum의 힘을 더해주는 것이죠.

 

 

Momentum이 있다면 최종 지점까지 가는 속도가 훨씬 빠르겠죠?

 

간단하게 보면, 수식에 괄호 안에 있는 것이 gradient입니다.

 

그냥 minibatch gradient를 표현한 것입니다.

 

step 1 -> v = 0이었을 것입니다.

그래서 v = -(앱실론)*(gradient) 일 것입니다.

 

그런데,

step 2 부터는 v가 위에서 정해질 것이므로,

v가 계속해서 누적이 되어서 세타에 반영되게 됩니다.

 

그러니, 이전 과거의 시점의 gradient일수록 알파가 많이 곱해지게 됩니다.

 

그런데 알파는 0 ~ 1 사이의 수이므로, 그러므로, 이전 과거 시점일수록 알파가 계속 곱해져 계속 작아집니다.

 

 그것은 "과거 시점의 gradient는 momentum에 좀 적게 반영하자."라는 의미를 가집니다.

 

이런 technique을 exponential smoothing이라고 합니다.

 

 

그리고 또 다른 해법을 알아봅시다.

 

Adaptive Learning Rate

 

우리의 Hyperparameter 에타(또는 앱실론)를 초기 값에서 계속해서 줄여줌으로써,

 

값을 재설정합니다.

 

즉, 처음에는 0.1로 설정했다가, 목표 에타를 설정하여 0.01까지 줄일 수 있도록 합니다.

 

앞 예시에서 봤 듯, epoch이 늘어나도 gradient가 증가하여 수렴하지 않는 경우에 대해, 에타의 값을 매우 작게 하여 어찌됐든 수렴하게 만드는 것입니다.

 

항상 작게한다는 것은 동일합니다.

 

그러나, large gradient를 사용할 때에는, learning rate를 작게 함으로써 수렴에 도움을 주고,

 

이미 small gradient를 사용할 때에는 이미 model이 잘 학습 중이므로, learning rate를 '상대적으로' 크게함으로써 수렴을 돕습니다.

 

이러한 AdaGrad Algorithm을 살펴볼 수 있습니다.

위 algorithm에서 빨간 박스 위까지가 Stochastic gradient descent입니다.

 

그래서 minibatch의 gradient를 계산해줍니다.

 

그리고, r이 등장하고 r 은 r + g (element-wise) g입니다. // 모든 element를 다 곱하니 양수가 됩니다. 그러니 r은 무조건 양수로 점점 커지는 숫자입니다.

 

어떻게 보면 gradient의 norm, 즉 gradient에 크기를 곱해준다고 볼 수 있습니다.

 

세타는 위와 같이 update 됩니다.

 

앱실론에 gradient를 곱하는 것까진 같지만, 분모에 델타 + 루트 r이 들어갑니다.

 

그러므로, r은 계속해서 커지므로, 이 세타는 항상 작아질 수밖에 없습니다.

 

여기서, gradient가 큰 수라면, r도 더 큰 수가 됩니다.

 

gradient가 작은 수라면, r은 상대적으로 좀 덜 커집니다. 

 

그리고 델타는 상수입니다. numerical stability를 위해서 존재하며, 0에 가까운 수로 나눠지면 안 되니 어느 정도 작은 상수를 두는 것입니다. 수학적 계산의 Exception을 없애주기 위함이죠.

 

결국 r은 gradient의 크기 누적이므로,

 

gradient의 크기 누적으로 나눈다고 볼 수 있습니다.

 

결국, 의미 있는 부분은 깊게 천천히, 의미 없는 부분은 빨리 빨리 지나가도록 하는 것이 Adaptive learning rate입니다.

 

 

Adam Learning rate

 

이러한 adative learning과 momentum의 끝판왕이 Adam optimization입니다.

 

이것은 adative learning과 momentum를 둘 다 사용했더고 볼 수 있습니다.

 



 

 

algorithm을 봅시다.

 

Sample 부분부터 3줄은 Stochastic gradient descent입니다.

 

그리고, s와 r이 등장합니다.

 

그리고 로우 값이 등장합니다. 이것은 exponential smoothing 때문에 붙습니다.

 

즉, 최근 것을 많이 반영하고 과거의 것은 까먹는 방향입니다.

 

이것은 s와 r에 공통적으로 적용됩니다.

 

 

그리고 bais correction이라는 부분이 있습니다.

 

초기에 gradient를 반영하는 데 있어, 초기 gradient가 로우 값에 의해 매우 작게 들어가게 됩니다.

 

그러새 초반에 gradient가 너무 작게 반영되는 것을 막기 위해,

 

bias correction term을 두어 이를 방지합니다. (1 - (로우)를 나눠줍니다.)

 

그렇게 solution에 더 빨리 접근할 수 있게 하는 것이 bias correction입니다.

 

그래서,

 

1. SGD

2. Momentum

3. Adaptive

4. Adam

 

즉, 2와 3을 동시에 사용한 것이 Adam입니다.

 

gradient가 크면 클수록 더 조그맣게 보고, 작으면 상대적으로 덜 크게 보고,

 

그리고 Momentum을 통해서 현재의 gradient만 사용하지 않고, 과거의 gradient를 다 exponential smoothing을 한 그 합을 현재의 gradient처럼 치환해서 씀으로써 과거로부터의 값들을 모두 반영시킵니다.

 

결국, Adam Optimizer는 adaptive learning rate와 momentum을 동시에 사용하는 것입니다.

 

SGD는 기본으로 깔고 가며, 속도를 내기 위해서 bias correction을 했습니다.

 

Batch Normalization

 

input을 넣어줄 때 Neural Network에서 Normalization을 합니다.

 

그러나, NN은 k-nearest neighbor와 같은 distance 기반 방식은 normalization이 필수적이진 않습니다.

 

사실 NN은 Normalization 안 해도 작동하게 되어있습니다.

 

그럼에도 하는 게 더 좋다고 최근에 보고가 되었습니다.

 

그리고, 변수 별로 scaling이 되므로 weight update하는 데 iteration을 줄일 수 있다고 알려져 있습니다.

 

그리고, 가능하면 zero centered 맞추라고 알려져 있습니다.

 

그것을 통해 signal이 쏠려 ReLU와 같은 Activation func.에 의해 값이 sparse하게 진짜 중요한 부분만 activation 할 수 있게 됩니다.

 

 

그렇게, input에서만 normalization을 하니, hidden에서는 normalization을 하지 않은 효과가 나타납니다.

 

그래서 이 hidden도 normalizatiion을 해줘야 한다는 것이 batch normalization입니다.

 

 

그래서 mini batch 단위로 normalization합니다.

 

우리가 mini batch 단위로 weight를 update하니 당연한 것입니다.

 

그러니 각각의 hidden node의 output 값들을 normalization해주자는 것이죠.

 

 

그리고 internal covariate shift의 개념을 봅시다.

 

실제 weight update는 계속 쌓이며 이루어진다는 것입니다.

 

즉, weight update할 양은 static하게 구하지만, weight update는 dynamic하게 이루어진다는 것입니다.

 

 

그런데 normalization을 한다면, 다시 zero centered로 맞춰주기 때문에 다시 끌고오게 됩니다.

 

결국, 수식과 같이 평균과 분산을 구하고 z-transform한 것을 사용한다는 것입니다.

 

activation 전에 나온 값을 가지고 normalization을 합니다.

 

 

지금까지 Deep learning 즉, Deep Neural Network에 대해 알아보았습니다.