[Convolutional Neural Networks and Image Classification] Part 3

🧑🏻‍💻용어 정리

Convolutional Neural Networks
fully-connected layer
fully-connected neural network
activation map
Hyperparameters
VGGNet
ResNet

 

 

Convolutional Neural Networks

• fully-connected layer
  fully-connected neural network
• Computer Vision (ConvNets)
• 2012년 AlexNet부터 성능이 급격히 좋아짐
• 2015년 사람보다 더 인식을 잘 하게 되었습니다.

 

여러분은 고양이와 강아지를 잘 구분할 수 있나요?

 

고양이와 강아지

 

고양이와 강아지를 구분하기 위해서는

 

Computer Vision 분야에서 많이 쓰이는 CNN, 즉 Convolutional Neural Network가 가장 default로 쓰입니다.

 

그 과정에는 pixel의 값을 오차 범위에서 하나하나 다 비교하는 방법이 사용됩니다.

 

즉, Trying Every Possible Match가 그것입니다.

 

그리고, 모든 값들을 아래 그림과 같이 나타내어 오차를 계산하며 activation map 혹은 활성화 지도 라고 부릅니다.

(테이블에 써있는 숫자를 언급한 것입니다.)

출처 : https://wikidocs.net/135874

 

위 특정 활성화 지도는 특정한 convolution filter 주어진 입력 이미지에 가능한 모든 위치에 Overlab을 시켜 매칭되는 정도를 얻었을 때, 나오는 결과 이미지 입니다.

 

이 연산은 Convolution 연산 혹은 Operation이라고 정의해 볼 수 있습니다.

 

결국 이 Activation Map을 얻기 위해선 아래와 같은 과정이 필요합니다.

 

1. Convolution filter를 이미지 상의 각각의 특정 위치에 위치 시켜서 그에 해당하는 이미지 패치와 align 시켰을 때, pixel 값들을 서로 곱합니다.
2. 그것을 다 더합니다.
3. 그리고 total pixel 개수로 나누어 줍니다. (선택)

 

Convolution filter

• Convolution layer에서는 여러 개의 특정한 고유한 패턴을 가지는 다수의 convolution filter가 존재합니다.
• 이 convolution filter 혹은 패치를 각각 주어진 입력 이미지에 적용했을 때 filter 별로 activation map이 output으로 나옵니다.
• 하나의 activation map을 이미지로 본다면, 주어진 이미지 한 장을 가지고 filter 개수만큼의 이미지를 만들어냅니다.

 

그래서, 이러한 Convolution layer를 여러 계층으로 쌓았을 때, deep neural network로서의 convolution neural nework를 구성했을 때, 한 convolution layer 내에 주어지는 입력이 한 장이 아닌 여러 장인 입력일 경우도 생각해 볼 수 있습니다.

 

한 장의 이미지를 채널이라고 부릅니다.

 

각 convolution filter가 한 칸씩 이동하면서 scalar 값을 뽑게 됩니다.

 

이로써 activation map이 나오게 됩니다.

 

Pooling Layer

• 특정 이미지 패치 내에서 가장 최댓값을 선정합니다.
• 이러한 과정을 max pooling이라고 합니다.
• 특정 이미지 패치를 옮겨가며 output layer를 얻게 됩니다.
• 최댓값만 뽑기 때문에, 가로 세로의 사이즈를 반으로 줄이게 되는 효과를 얻게 됩니다.
• 채널별로 따로 이루어집니다.

 

ReLU Layer(ReLUs, Rectified Linear Units)

• 함수를 보다 유연하게 다양한 패턴들을 표현하게 만들어줍니다.
• 양수였던 값은 그대로, 음의 값은 0으로 clipping 해주게 됩니다.
• 즉, 변형된 Output activation map을 주게 됩니다.

 

Convolutional Neural Networks 과정

1. 가중합을 구하게 되는 convolutional operation을 먼저 적용합니다.
2. 그리고 바로 ReLU Layer 과정을 거칩니다.
3. 그리고, 1,2 과정을 몇 1번 stacking 한 후에 이 이미지를 좀 더 축약된 형태로 바꿔주는 max pooling layer 과정이 나오게 됩니다.
4. 1,2,3의 과정을 반복하는 형태로 이루어집니다.

 

 

특정 Convolution layer에서 Max pooling이 여러 번에 걸쳐서 쌓은 후,

 

작은 이미지 size로 변환된 activation layer를 filter의 개수, 즉 channel의 개수 만큼의 output activation map을 만들었을 때,

 

특정 Layer에서 한 줄에 vector로 피게 됩니다.

 

 이 vector를 입력으로 주어서 Fully connected layer를 구성하게 됩니다.

 

목적 이미지에 대한 output node를 만들게 되고, class에 대한 score를 각각 만들어 줄 수 있게 됩니다.

 

score 값에 대해서 최종 이미지를 분류하게 됩니다.

 

최대한 score의 값이 정답값이 최대한 1, 나머지는 최대한 0이 되도록 합니다.

 

 

Hyperparameters

• Convolution
  • Number of filters
  • Size of filters
• Pooling
  • Window size
  • Window stride // window 한 번 옮겼을 때 몇 Pixel 만큼 움직이느냐.
• Fully Connected
  • Number of layers
  • Number of neurons

 

Various CNN Architectures

• AlexNet
• VGGNet
  • CNN filter를 3 by 3 으로만 합니다.
• GoogLeNet
• ResNet (Residual Network)
  
  • layer 들을 여러 개 쌓아서 skip 할 수 있게 합니다.