[Deep Learning] Deep Neural Network (2)

🧑🏻‍💻용어 정리

Neural Networks
Feed-forward
Backpropagation
Deep Neural Network

 

 

 

우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다.

 

그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다.

 

그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다.

 

그런데 이상한 게 있습니다.

 

우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지..

 

사람들이 3-MLP를 주로 사용했습니다.

 

그런데?

 

사람들이 10-MLP를 써보자와 같은 생각을 과연 안 했을까요?

 

여기서 3-MLP에서 layers를 늘리면 좋을 거 같다는 생각은 누구나 할 수 있습니다.

 

 

Deep Learning

 

 

그것에는 다음과 같은 이유가 있습니다.

 

• Computational power increase
  • SVM에게 죽임을 당할 당시 computational power가 지금과 같지 않았다는 것입니다.
  • GPU makes a breakthrough.
• The amount of data increases
  • generalization gap이 줄어듭니다. 이것이 궁극적인 machine learning의 목적입니다.
  • 그러므로, overfitting의 위험에서 벗어납니다.
  • modeling이나 preprocessing skills을 쓰지 않아도 Deep Learning으로 직접 갈 수 있습니다.
  • Acceptable performance : 5,000 labeled training data per category
  • Exceed human performance : 10 M labeled training data per category

 

 

그래서 위오 같은 이유로 데이터가 없고, 컴퓨터 성능이 좋지 않으니, 학습을 할 수 있는 환경이 아니었습니다.

 

그렇다면,

 

이 단순히 2가지 이유 때문에 SVM에 굴욕을 당했다? 여러분은 어떻게 생각하시나요?

 

이 2가지 이유는 굉장히 중요하기 때문에 기억하셔야 합니다.

 

그럼에도 무언가 다른 이유가 있을 것 같다는 의심을 품고 넘어가도록 하겠습니다.

 

앞에선 H/W 적 issue를 다뤘다면 이제 정말 Deep Learning으로 들어가보도록 하겠습니다.

 

 

 

 

Vanishing Gradient

 

 

 

먼저, 학습에 있어 weight를 정합니다.

 

weight의 initial 값은 random으로 되며, 그 다음부터 weight update를 합니다.

 

 

이 update는 위와 같이 learning rate라는 상수에 gradient를 곱하고, 이 gradient 역방향으로 가는 것이 Backpropagation입니다.

 

이 Backpropagation을 위해서 우리가 Neural Network를 학습 시킵니다.

 

이것이 3-layer MLP의 경우에는 그렇게 복잡하진 않았습니다.

 

weight update rule 자체는 똑같지만 말이죠.

 

 

 

여기서, Error가 loss로 계산됩니다.

 

이 loss로부터 Backpropagation은 뒤쪽으로 역전파를 해나갑니다.

 

제일 high layer부터 제일 low layer까지 gradient를 타고 타고 갈 수 있습니다.

 

그렇게 역순으로 타고 가는 게 Backpropagation입니다.

 

 

그런데, Vanishing gradient라는 것은 점점 기울기가 작아지는 것을 의미하고, exploding gradient는 기울기가 점점 발산하는 것을 의미합니다.

 

일반적으로는 vanishing gradient가 더 큰 역할을 하게 됩니다.

 

그러므로, 기울기의 크기를 Backpropagation 과정에서 어느 정도 일정하게 유지해줘야 하는데,

 

layer가 많아지면 많아질 수록, 우리의 model이 deep하면 deep할 수록 Backpropagation할 때, 기울기가 점점 작아지게 되는 것입니다.

 

혹은 기울기가 0이 되어 update가 안 되는 것까지 옵니다.

 

gradient 크기 만큼 update가 되는 것인데, gradient가 엄청 작거나 0이 되면 초기 단계 layer들의 weight가 update가 안 되게 됩니다.

 

 

 

activation function을 logistic sigmoid로 가정하면,

 

위와 같이 Backpropagation 과정에서 지금 두 layer만 내려가도 weight update 수치가 엄청나게 낮아지게 됩니다.

 

3-layer MLP만 해도 이정도입니다.

 

그리고 이 logistic sigmoid에서 기울기가 0에 가까운 값들이 있게 됩니다.

 

이 0에 가까운 애들을 여러 번 중첩해서 곱한다는 것입니다.

 

그래서 Backpropagation 중에서 vanishing gradient 문제에 직면하는 것은 activation function의 문제입니다.

 

 

 

Remedy 1 : Pre-training

 

그렇다면, 계속해서 weight 가 소실이 됩니다.

 

여기서 initial weight가 random하면 deep할 수록 계속 weight가 소실되게 되죠.

 

그렇다면, 어느정도 똑똑한 weight를 처음에 initialization해놓으면 되지 않나?

 

본격적으로 Neural Networks가 학습하기 전에, 사전에 무언가를 해놓자.

 

그런 아이디어가 바로 "Pre-training"입니다.

 

 

Deep Belief Networks (DBN)

 

그렇다면, Restricted Bolzmann Machine (RBM)으로 Pre-training을 해놓고,

 

그리고 나중에 Backpropagation 시에는 fine-tunning을 하는 방식이 이 DBN입니다.

 

 

 

그렇다면, 이 그림의 우측에 layer 끼리의 RBM을 돌려놓고, 최대한 weight를 어느정도는 학습을 시켜 놓자는 것입니다.

 

즉, RBM을 사용해서, layer-wise로 pre-training을 하는 것입니다.

 

그렇다면 우리가 initial weight로 썼던 이 W0라는 값은, random이 아닌, 어느 정도 각 layer 사이의 관계를 설명할 수 있는 weight가 됩니다.

 

그리고, Backpropagation 시 fine-tunning만 진행하게 됩니다.

 

그래서 좌측과 같은 그림의 순서가 나올 수 있습니다.

 

그래서 이 방법을 Unsupervised Pre-train이라고 하기도 합니다.

 

 

RBM 단계에서는 y 값이 존재하지 않습니다.

 

그저 layer 끼리 RBM 합니다.

 

y 값은 fine-tunning 시 들어옵니다.

 

 

정리하자면, Supervised 문제를 푸는 network이지만, Unsupervised 기법 중 하나인 이 RBM으로 Pre-training을 미리 시켜놓자 입니다.

 

그래서 이것은 Unsupervised learning 문제를 하는 것은 아니라는 것입니다.

 

unsupervised 기법을 사용하는 것이지, 실제로 Supervised learning의 문제를 푸는 것입니다.

 

오해 없으시길 바랍니다.

 

그런데, 이 DBN은 현재 잘 사용하지는 않습니다.

 

이 Pre-training의 과정이 너무나 크기 때문입니다.

 

 

DrawBack : Pre-training process is too heavy.

 

 

이 RBM은 분포 추정을 하기 때문에 굉장히 오래 걸립니다. 그래서 Pre-training에는 큰 cost가 듭니다.

 

Backpropagation은 분포 과정이 필요하지 않습니다.

 

Backpropagation은 나중에 분포 과정이 필요한 maximum likelihood와 비슷한 역할을 한다고 하는데,

 

어째튼, Backpropagation은 분포 과정이 필요하지 않습니다.

 

RBM은 그에 비해 조금 더 확률 function 기반입니다.

 

그래서 하나하나 학습하는 시간이 Backpropagation과 비교하여 엄청 오래 걸립니다.

 

 

지금은 Pre-train하지 않아도 Vainishing Gradient를 해결할 수 있는 방법이 생겼습니다.

 

그럼에도 불구하고 이 DBN은 정말 중요한 개념입니다.

 

 

Deep Learning이 처음으로 SVM을 이길 수 있다고 나온 Model입니다.

 

 

 

그럼 지금까지 DBN으로부터 우리는 희망을 봤습니다.

 

Deep하게 layers를 쌓는 것은, Vanishing Gradient Problem으로 못 할 거 같다고 생각했지만, 희망이 생겼습니다.

 

Remedy 2 : ReLU Activation (Rectified Linear Unit)

 

 

 

여기서 살펴보는 activation function은,

 

logistic 계열과 ReLU의 변형들로 이루어져 있습니다.

 

ReLU Activation (Rectified Linear Unit)은 다음과 같습니다.

 

 

• Easy Calculation
• Gradient is large

 

그런데, 이 함수는 (0,0)에서 각이 있기 때문에 미분이 불가합니다.

 

학계에서는 실제로 학습할 때, 신경쓸 부분이 아니라고 말합니다.

 

그것은 0.000000...0의 값이 실제로 나타날 일이 거의 없다는 것입니다.

 

DrawBack

-> Deactivate for every nodes

 

sigmoid와 같은 logistic 종류의 activation function은 아무리 안 좋은 값이 나가도 0.01이 나가게 됩니다.

 

그렇다면, 어떻게 해서든 함숫값이 feed forward process에서 전달이 됩니다.

 

 

 

그런데, ReLU의 경우에는 signal의 크기가 작아질 가능성이 높아집니다.

 

게다가 Weighted Summation하니까 말입니다.

 

앞쪽에서 값이 많이 activation이 많이 안 되어 있다면, 뒤쪽에서는 값이 deactivate 되는, 그래서 값이 g(z) == 0이 되는, 

 

거의 모든 Node가 deactivate될 수 있다는 것입니다.

 



그래서 ReLU function이 처음 나왔을 때, sparse activation이라고 불렀습니다.

 

듬성 듬성 activation이 된다는 소리죠.

 

그 sparse함이 너무 sparse 해지면 아예 불을 다 꺼버릴 수도 있는 것입니다.

 

 

그래서 ReLU를 쓸 때는, 초기에 거의 다 Activation을 시켜놓고 시작합니다.

 

deactivation 되면, gradient도 당연히 0이니, 뒤쪽 node 들도 update도 아예 안 되게 됩니다.

 

가능하면 초기에는 많이 activation 시켜놓고, 억지로 시작을합니다.

 

 

 

 

위 sparse한 점들을 해결하기 위해서,

 

Leaky ReLU를 사용할 수 있습니다.

 

마이너스 값에 대해서 뭔가 signal을 전달 받고 weighted summation에서의 영향력이 없지 않도록 합니다.

 

즉, Zero-gradient를 피하기 위합입니다.

 

 

maxout도 존재합니다.

 

이것은 NLP 분야에서 꽤 사용됩니다.

 

 

linear nodes에서는 activation 되지 않고, H1에서 activation됩니다.

 

이 H1에서 linear nodes 들 중 가장 큰 값만 내보냅니다.

 

Weighted Summation을 하지 않습니다.

 

사전의 node들을 Linear하게 조합하되, 그 중에서 가장 크게 activation된 애만 linear하게 통과시켜버립니다.

 

이것은 deactivation 되는 것을 방지할 수 있습니다.

 

 

아래 사진과 같이 비교할 수 있습니다.

 

 

 

 

결국 ReLU로 시작해서 이러한 linear function을 사용한 것입니다.

 

 

linear function 종류를 쓰면서 가장 큰 값을 내보낸다 등의 non-linear transformation을 한 것입니다.

 

하지만 out이 나가는 형태 자체는 Linear하게 나가게 됩니다.

 

이것을 통해 계산을 쉽게 하고, gradient의 값도 크게 유지하면서, 엄청난 Vanishing gradient problem을 조금씩 개선하여 피할 수 있게 되었습니다.