[Advanced Classification] part 5 - 3

🧑🏻‍💻용어 정리

ANN (Aritificial Neural Network)
DNN (Deep Neural Network)
Multilayer perceptron model

 

 ANN (Aritificial Neural Network)

• nonlinear classification model을 제공
• 앞서 있던 것과 결이 다른 classifier
• 인간의 뇌 신경을 모사한 형태로 만들어진 model
  • 인접하는 node에서 신호를 수집하게 되면, 그 신호들은 전기적으로 하나의 node들에 합성이 되어서 어느 전기 수준 이상으로 신호가 증가됐을 때, 화학적인 과정을 통해서 그 다음 뉴런으로 신호를 전파해 나간다.
• Linear combinations으로 만든 score 값을 이용
• nonlinear한 연산이 "Actiovation Function"에 의해서 이루어집니다.
  • Activation function은 linear combination으로서의 score 값을 입력으로 삼아서 sigmoid 와 같은 함수를 통해 nonlinear한 관계로  mapping 해주는 역할을 수행합니다.

 

출처 : https://openbooks.lib.msu.edu/neuroscience/chapter/synapse-structure/

 

ANN에서의 Activation functions

• Sigmoid neurons
  
  • neural network를 깊이있게 쌓아갈 때, 효과적이지 않음이 보여집니다.
  • 학습이 진행됨에 따라 gradient 값이 점점 작아지는 경향이 있습니다.
• ReLU
  • max (0, x)
  • 이 함수를 미분하더라도 여전히 gradient term이 1로 나타나는 것을 알 수 있습니다.
• Leaky ReLU
  • max (0.1x, x)

출처 : https://www.researchgate.net/figure/ANN-Activation-Functions_fig3_48667203

 

💡 이러한 ANN에 계층을 쌓아서 깊게 쌓게 되면 DNN이 됩니다.

 

 

DNN (Deep Neural Network)

• 각각의 계층에 따라서 학습을 하게되는 feature의 형태가 달라진다고 하는 것이 잘 알려져 있습니다.
• 이러한 nonlinear 함수들이 계층적으로 쌓여 감에 따라서, signal spade에서의 복잡한 신호들의 패턴들을 조금 더 정확하게 분류할 수가 있다고 하는 것입니다.
  • 복잡한 형태의 input feature들을, 복잡한 sample들을 효과적으로 분류하기 위한 linear play는 구성하기 어렵습니다.
• 하나의 계층을 통한 nonlinear activation function 역시 이러한 것들을 효과적으로 분류하기 어렵다고 볼 수 있습니다.
• 이러한 neural network를 여러 개의 계층을 통해서 쌓아가며 연산을 수행하면 복잡한 model들 역시, 더 복잡한 형태의 hyper plane을 통해서 모델들을 더 잘 분류할 수 있습니다.

 

출처 : https://velog.io/@dlwns97/Neural-Network-with-Pytorch-1

 

위와 같이 XOR Problem이 있습니다.

 

아래 표를 같이 봤을 때 , 서로 다를 때 output이 1이고, 같을 때 0입니다.

output	input1	input2
0	0	0
1	0	1
1	1	0
0	1	1

 

Postive 끼리, negative 끼리, 분류할 수 있을까요?

 

이러한 문제를 하나의 hyper plane을 그어 분류할 수 있을까요?

 

이는 굉장히 어려울 것입니다.

 

Neural Network가 이러한 문제를 효과적으로 풀 수 있음을 알아냈습니다.

 

 

 

Neural Network를 여러 개의 층으로 쌓은 것을, 

 

Multilayer perceptron model (MLP)

이라고 할 수가 있습니다.

 

MLP

• XOR problem을 풀 수 있습니다.
• multilayer의 계층이 올라감에 따라 더 복잡한 형태의 hyper plane 을 만듭니다.
• 이러한 neural network는 linear classification 문제에서 수행할 수가 없는, XOR problem과 같이 nonlinear한 문제들을 풀어낼 수가 있습니다.
• 고차원의 신호, image 같은 형태에 보다 더 잘 동작함을 알 수 있습니다.

 

ANN

• Example : MNIST data recognition
• Computer Vision, Image Recognition에 많이 활용됩니다.
• 한편, 이러한 모델의 accuacy가 계층을 계속 늘려간다고 할지라도, 어느 순간 낮아지게 되는 문제가 발생하게 됩니다.
  • 이것은 Gradient Vanishing problem 때문에 발생하는 것입니다.
  • 모델 학습 과정에서 parameter를 chain rule을 통해 학습하게 되는데, 계층이 깊어지면 깊어질 수록, Gradient 값이 계속해서 줄어들게 되어서, 깊은 layer에 대해서 학습이 효과적으로 이루어지지 않게 되는 문제가 발생하게 됩니다.
• 이러한 학습 과정, 이러한 optimization 문제를 BackPropagation 이라고 합니다.
• 이러한 BackPropagation 과정에서 발생되는 "vanishing gradient problem"을 풀기 위한 많은 연구가 있었습니다.
  • 결국 pre-training 과 fine tuning과 같은 과정을 거쳐서 ANN과 CNN(Convolutional Neural Network)과 같은 Deep Learning model 과 같은 것으로 발전 되어 우수한 성능을 내고 있습니다.

 

Convolutional Neural Network (CNN)

• ANN에서 고도화 되어서, image나 video와 같은 고차원 신호를 효과적으로 다루는 데 많이 활용되고 있습니다.