[Deep Neural Network] part 1 - 1

🧑🏻‍💻용어 정리

Deep Neural Network
Perceptron
Decision Boundary
Input Feature space

 

 

Deep Neural Network (심층 신경망)

• 두뇌 속 뉴런 혹은 신경 세포를 본 따서, 그 신경 세포들이 서로 연결 관계에 있으며 정보를 더 고수준의 정보로 처리하고 여러 지능적인 task를 수행할 수 있도록 하는 신체 내 두뇌의 동작 과정을 모방하여 수학적 알고리즘으로 만든 것입니다.
• Deep Learning Algorithm이라고 부릅니다.
• 학습 Data에 기반한 기계학습 Algorithm 중 하나입니다.
• 신경 세포 하나는 다른 신경 세포들과 연결되어져 있습니다.
  • 다른 신경세포들로부터 전기 신호를 입력으로 받게 됩니다.
  • 다른 신경세포들로부터 넘어온 전기 신호들을 신경세포 하나에서는 특정한 값을 곱해서 나름의 변환된 전기신호를 또 만들어냅니다.
  • 이 전기 신호를 신경세포가 연결되어 있는 다른 신경세포들에게 전달해주는 과정으로 진행됩니다.
  • 이 입력 신호를 제공해 주는 신경세포로부터 받은 입력 값을 x1, x2, ... 이렇게 정의하고, 이 신경세포는 입력에 어떠한 가중치를 곱하여, 그 값들을 다 더하고 여기에 특정 상수까지 더한 결합식으로 새로운 신호를 만들어내게 됩니다.
  • 그리고, 그 후, Activation function(ReLU, Sigmoid, tanh 등)을 최종적으로 통과해서 최종 Output을 만들어냅니다.
  • 이 신호를 뉴런이 연결되어 있는 다른 뉴런들에게 입력을 제공해당 뉴런들에게 최종 Output을 전달해주게 됩니다.
  • 이러한 뉴런들이 모여 하나의 신경망을 구성하게 됩니다.
  • 한 layer에 여러 뉴런들이 각 입력에 대해 각기 다른 출력을 내고, 그 출력이 입력이 되어 다시 다른 Layer에 들어가게 됩니다.

 

뉴런의 동작 과정을 수학적으로 본 따서 만든 Algorithm을 Perceptron이라고 한다.

 

과정

• 하나의 뉴런이 어떤 다른 두 개의 뉴런으로부터 입력 신호를 받고 있다면, 그 입력 신호 x1, x2를 뉴런이 정보를 잘 처리하여 출력 신호 y를 제공합니다.
• 내부적으로 W의 가중치도 가지고 있습니다.
• 이 특정 뉴런, perceptron은 입력 정보를 가중치와 곱하여 가중합을 만들어내고 Activation function을 통해 최종 출력 신호를 만들어주게 됩니다.
• 이 때, 출력 신호는 그 다음 계층의 뉴런들에게 해당 출력을 전달해주게 됩니다.

 

 

 

• Single Layer Perceptron for AND Gate
• Single Layer Perceptron for OR Gate
• Single Layer Perceptron for XOR Gate

 

• input feature space는 decision boundary에 대해서 양분되고, 한 쪽은 최종 Output이 1, 또 다른 한 쪽은 최종 Output이 0입니다.
• 그러나 위 경우 XOR problem에서는 decision boundary에 대해 Input feature space를 양분할 수 없는 경우가 발생합니다.
  • 이것을 여러 단계를 거쳐서 구성했을 때, 이 XOR problem을 해결할 수 있습니다. 

 

출처 : https://medium.com/analytics-vidhya/understanding-basics-of-deep-learning-by-solving-xor-problem-cb3ff6a18a06

 

서로 각기 다른 역할을 하는 여러 뉴런들을 연결하여 여러 계층에 걸쳐서 정보를 처리하는 neural network를 구성할 수 있습니다.

 

그리고, 이러한 neural network는 굉장히 복잡한 task 들도 문제 없이 처리할 수 있는 능력을 가집니다.

 

 

Neural Network Layer 구조

 

구조에 따라 다음과 같이 부릅니다.

 

Input layer   -   Hidden Layer   -   Output Layer

 

-> 1-hidden-layer Neural Network

-> 2-layer Neural Network

 

Input layer   -   Hidden Layer  1  -   Hidden Layer  2   -   Output Layer

 

-> 2-hidden-layer Neural Network

-> 3-layer Neural Network

 

https://playground.tensorflow.org/

Tensorflow — Neural Network Playground

위 사이트에서 주어진 task 들을 풀 수 있다.