[Deep Learning] Convolutional Neural Network (1)

🧑🏻‍💻용어 정리

Neural Networks
Feed-forward
Backpropagation
Convolutional Neural Network
stride
filter
kernel
topology
MLP
image
multi-channel
sparse connection
parameter sharing

 

 

오늘부터 CNN에 대해서 배워봅시다.

 

지금까지는, 

 

linear separability, MLP, Feed-forward, Backpropagation, regularization, optimization 등을 살펴보았습니다.

 

그리고 오늘은 새로운 model CNN에 대해서 살펴봅니다.

그리고, 위와 같이 지금까지 배운 부분들이 MLP와 CNN이 다르지 않습니다.

 

거의 90%는 그대로 적용된다고 봐도 무방합니다. (CNN의 특이성 때문에 다소 달라질 수는 있습니다.)

 

 

Convolutional Neural Network

 

 

 

우리의 CNN은 Deep Learning을 성공으로 이끈 architecture입니다.

 

 

딥러닝 3대장 중 2번째 형을 맡는 LeCun 교수님께서 위와 같이 89년에 제안하셨습니다.

 

그리고, 이 CNN은 NN의 specialized된 형태입니다.

 

그리고 grid와 같은 형태입니다.

 

image, video, 등

 

이것들은 모두 pixel 단위의 데이터입니다.

 

 그래서 Image는 2D grid 형태를 data가 이루고 있는 것입니다.

 

그리고 grid-like topology는 image 상에서 좌측상단 grid 들과 우측하단 grid들과 비교하여 상대적으로 연관성이 떨어지는 것을 의미합니다.

 

그리고 time-series는 2D grid는 아니지만, 1D로 짤라놓고 보면 1D grid 상의 grid 형태로 해석이 가능해집니다.

 

각각 2D나 1D나 모두 각각의 topology를 가지고 있습니다.

 

일단 CNN은 image 위주로 보니 2D data 위주로 설명하겠습니다.

 

위와 같은 CNN의 역사를 살펴볼 수 있습니다.

 

이제, Convolutional Operation이 기존의 Weighted Summation과 어떻게 다른지에 집중해봅시다.

 

 

출처 : https://wikidocs.net/165034

 

일단 CNN과 MLP의 다른 점은 무엇일까요?

 

 

MLP 는 weighted summation부터, activation을 통해 값들을 forward하여 연산합니다.

 

즉, MLP는 이 matrix multiplication이라 불리는 이 matmul 연산이 기본 연산이 되겠습니다.

 

그런데 CNN에서는 MLP와 다르게 Convolutional operation을 사용합니다.

 

이것은 새로운 연산이죠.

 

• 이것은 linear operations의 특별한 형태입니다.
• 그래서 Neural network 중에서도 적어도 하나의 convolutional layer를 가지고 있다면 우리는 이것을 CNN이라고 부릅니다.
• 이 convolutional layer는 당연히 이 convolutional operations을 쓰는 layer를 의미합니다.

 

이것을 사용하는 motivation은 다음과 같습니다.

• Sparse connections
• Parameter sharing
• Spatial data

 

우선, spatial data부터 살펴봅시다.

 

이것은 공간적 데이터를 의미합니다.

 

공간적 데이터란 image, 2D grid를 의미합니다.

 

이것들은 grid 마다, pixel의 정보를 담고, 가까이 있는 것들이 연관성이 높습니다.

 

즉, image에서 주변에 있는 값들은 서로 같거나 비슷한 정보들을 포함하고 있습니다.

 

그 말은, 우리가 정보를 모두 쓸 필요 없이 정보량을 summary하여 정보량을 줄여나가도 image가 사람에게 주고싶어하는 object들에 대한 정보는 유지할 수 있는 것입니다.

 

 

 

 

 

 

 

 

위와 같은 CNN의 역사를 살펴볼 수 있습니다.

 

이제, Convolutional Operation이 기존의 Weighted Summation과 어떻게 다른지에 집중해봅시다.

 

Convolutional Operation

 

우리가 기존에 해왔던 matrix multiplication과 조금 다릅니다.

 

4 x 4 matrix는 그냥 한 장의 image에서 pixel 값을 일부분 추출한 거라고 보시면 되겠습니다.

 

 

그리고, 위 filter는 kernel이라고도 부릅니다.

 

위와 같은 값을 가질 때, 우리가 convolutional operation을 통해서 output을 계산해보겠습니다.

 

 

 

이 filter를 input data에 적용시킵니다.

 

즉, element-wise product를 하죠.

 

 

기존 matmul과 다르게, element 단위로 곱하여 자기 row, col에 맞게 연산하여 넣어줍니다.

 

그래서 위 element-wise production를 빨간 박스에 대해 계산하면 output에서의 값처럼 2가 나오게 됩니다.

 

 

filter size에 맞춰서 product를 합니다.

 

이것은 2D grid이기 때문에 가능한 것이죠.

 

 

즉, 비슷한 정보에 대해서 filter를 적용하여 하나의 Summary 값을 추출해내는 작업입니다.

 

위와 같이 한 칸씩 이동합니다.

 

이것들도 마찬가지로 2D grid topology를 가지고 있는 data의 일부분을 뽑아온 것이죠.

 

이렇게, filter를 옮겨 가면서 output을 하나하나씩 계산한다고 보시면 됩니다.

 

 

이 경우, 우리가 한 칸씩 위아래로 움직였습니다.

 

이것을 stride라고 합니다.

 

정리하면,

 

위와 같이 input data가 가지고 있는 정보를, filter를 지나서 summary하여 output의 결과로 나오게 되는 것입니다.

 

즉, 공간적인 특성을 요약해 나가는 것입니다.

 

 

이게 다입니다.

 

element-wise product를 하여 summary해 나간다.

 

 

 

이 사진과 같이 element-wise product가 이루어지는 것을 볼 수 있습니다.

 

element 별로 연산이 이루어지는 것이 보입니다.

 

 

 

 

계산한 결과값이 하나의 scalar 값으로 들어가게 됩니다.

 

 

 

 

 

 

 

 

 

 

 

그것에 대한 결과로 output이 나오게 됩니다.

 

이것을 weighted average, 즉 summary를 한다고 보시면 됩니다.

 

weighted summation과 weighted average는 같은 의미로 보시면 되겠습니다.

 

 

그렇다면, 이게 왜 Neural Network인지 의심이 생기실 텐데요.

 

이제 CNN과 MLP를 비교해보며 이게 왜 Neural Network의 special한 form인지 살펴보겠습니다.

 

 

 

 

 

 

 

 

이 형태를 다시 봅시다.

 

위에서 본 kernel이 우리가 MLP에서 알고있는 weight 역할을 한다고 보시면 됩니다.

 

그리고 input은 우리가 아는 input이고, output은 일단 지금은 hidden이라고 보고 아래 내용을 살펴보겠습니다.

 

 

위와 같이 4 x 4 의 각각의 pixel 들이 위와 같이 펼쳐져 있다고 합시다.

 

우리가 지금까지 봐온 input은 위와 같이 vector 형태로 펼쳐져 있습니다.

 

이것을 flatten이라고 합니다.

 

flat vector라고도 합니다.

 

 

그래서 이것과 2D grid input과 다른 것일까요?

 

한 줄로 쭉 줄세웠다고 생각하면 어떤가요?

 

같은 것입니다 !

 

 

위와 같이 위치 정보를 가지고 gradient를 묶으면, 위 4 x 4의 2D grid input pixel image가 되는 것입니다.

 

 

위와 같이 labeling을 했다고 봅시다.

 

그렇다면, 아래와 같이 kernel의 값도 붙어서 볼 수 있겠죠.

 

(일부 생략하여 y1 ~ y4까지만 그렸습니다.)

 

 

결국,

 

 

이러한 과정을 거치는 것이죠.

 

그리고, stride를 2라고 하면, 아래와 같이 y2도 구할 수 있습니다.

 

 

이때, y1을 만드는 kernel 값과 y2를 만드는 kernel 값은 같은 kernel 값입니다.

 

 

이렇게 하나의 Kernel로 input을 돌면서 hidden layer를 하나 만든 것과 같은 것입니다.

 

 

이렇게 보면 사실 MLP와 같습니다.

 

그저 표현만 2D grid에 맞춰서 해준 것이 됩니다.

 

실제로 vector 연산으로 보시면 되는데, 우리가 2D grid 형태로 보니까 element-wise 형태로 본 것입니다.

 

 

그럼 MLP와 비슷한 부분들을 더 살펴봅시다.

 

 

 

Sparse connection

 

MLP의 matrix multiplication 방식은 위 x 1 ~ 16을 다 써서 각각의 y1 ~ 4를 만드는 것이었죠.

 

 

그런데,

 

위 CNN의 hidden node y1을 보았을 때,

 

x1, x2, x5, x6의 연결로 4개만 연결합니다.

 

즉, 12개의 연결은 끊어버리고 4개만 연결하여 kernel size에 맞춰서 하게 되는 것입니다.

 

출처 : https://towardsdatascience.com/the-sparse-future-of-deep-learning-bce05e8e094a

그래서 이것은 dense하게, 밀도 있게 연결되어 있지 않고, 듬성듬성하게 연결이 되는 것입니다.

 

그래서 이것을 Sparse connection이라고 합니다.

 

 

 

Parameter Sharing

출처 : https://pennlio.wordpress.com/2014/04/11/fully-connected-locally-connected-and-shared-weights-layer-in-neural-networks/

우리가  MLP에서 살펴보았을 때, weight 들이 다 다른 값을 가집니다.

 

그런데, 우리가 위 예시에서 본 CNN은 kernel을 이동시키며, 똑같은 weight를 적용합니다.

 

MLP의 경우에는 16 x 4로 64개의 weight를 가져야하고, sparse connection을 고려하면 4 x 4로 16개를 가져야하지만,

 

여기에 parameter sharing으로 4개의 weight만으로 이루어져 있다는 것입니다.

 

 

 

그렇다면 CNN이라는 network는 sparse connection과 parameter sharing이 들어 MLP라고 보는 것도 괜찮을까요?

 

그렇게 봐도 무방합니다 !

 

 

그저 sparse connection과 parameter sharing이 왜 들어가냐?

 

2D grid , 2D topology를 가지는 Data 에서 localize summarization을 해나가게 디자인이 되었습니다.

 

그리고 이것은 넓게 보면 regularization의 개념을 가지고 있습니다.

 

 

이 sparse connection을 random하게 한다면 drop out의 특징이라고 볼 수 있겠으나.

 

CNN에서는 정해진 규칙에 의해서 진행되기 때문에 그렇게는 보기 어렵습니다.

 

 

위 과정으로 보면 MLP 입장에서 굉장히 강한 제약을 준다고 볼 수 있습니다.

 

그렇다면, 성능 향상에 있어, 그저 우리가 배운대로 backpropagation을 하면 됩니다.

 

이 CNN은 구조적인 regularization아 걸린 MLP와 다름 없으니까 말이죠.

 

 

Convolutional operation for Multi-channel inputs

 

자, 이번엔 똑같은 CNN 구조에서 multi-channel의 개념에서 확장시켜 살펴보도록 하겠습니다.

 

 

 

우리가 다루는 실제 Image인 input은 R,G,B로 이루어진 하나의 input으로 3개의 channel로 생기게 됩니다.

 

그리고, width, height는 우리가 아는 image의 2D grid  값이라고 보시면 됩니다.

 

그리고 depth는 몇 channel이냐를 의미하죠.

 

그러니 이 3장이 image의 input observation인 것입니다.

 

 

우리는 이 matrix가 channel 수만큼 있으므로,

 

우리는 이것을 tensor data라고 부를 것입니다.

 

 

32 x 32 x 3의 크기를 갖죠.

 

이 하나의 tensor가 하나의 Data point입니다. 하나의 데이터를 처리하는 단위이죠.

 

자, 이상태에서 convolutional operation은 어떻게 진행될까요?

 

 

 

 

 

 

위 그림과 같이 3개의 kernel들이 조합되어 하나의 scalar 값을 가집니다.

 

이 RGB 3 channel의 정보를 조합해야 우리가 image에서 그 부분에 대해 원하는 정보를 얻을 수 있습니다.

 

그래서 우리가 3가지의 channel을 조합해서 하나의 요약으로 나타낼 수 있다는 것입니다.

 

 

 

그런데, 지금 input이 tensor인 것처럼,

 

kernel도 하나의 tensor 형태를 띄고 있습니다.

 

kernel은 2 x 2 x 3이죠.

 

 

이 그림과 같이 12개가 모여서 하나의 tensor를 이루는 것입니다.

 

이것은 kernel1, 2, 3이 아닙니다.

 

하나의 tensor이죠.

 

 

 

input도 3 channel이니 kernel도 거기에 맞춰서 3 channel 짜리가 있는 것입니다.

 

그리고 이 kernel은 각 2 x 2의 값들은 각각 다른 값을 갖겠죠.

 

 

하나의 kernel은 단일 channel에서 convolutional operation과 같은 연산을 수행합니다.

 

하나의 kernel이 하나의 scalar의 값을 얻기 위해서 하는 것입니다.

 

 



이것도 똑같이 이동하며 scalar 값을 생성합니다.

 

 

 

그리고 마지막엔 위와 같이 되겠죠.

 

이 그림에는 5 x 5 x 3 의 Kernel을 가지고 수행한 것입니다.

 

 

그래서, 이렇게 만들어진 이 한 장의 output node들의 조합을,

 

Convolutional Map 또는 Feature Map이라고 합니다.

 

이 map에 그 이전 단계의 지역적인 정보들을 조합해서 하나의 특징 맵을 만들어낸 것입니다.

 

 

 

feature map을 하나만 쓴다면 뽑아낼 수 있는 정보가 굉장히 제한적이므로, feature map을 여러 개를 씁니다.

 

 

여기 등장하는 kernel은 이전 feature map 1에서의 kernel과 당연히 다른 값이겠죠?

 

그래서, 각 feature map 마다 summarization의 방향도 다릅니다.

 

이를 테면, feature map #1은 edge를 찾는다고 하면,

 

feature map #2는 edge가 아닌 면을 찾는다고 볼 수 있습니다.

 

 

각각의 feature map이 이전 단계의 data로부터 서로 다른 정보를 추출해내기를 기대하는 것입니다.

 

 

 

 

이런식으로 feature map을 여러 개를 만듭니다.

 



 

 

위 사진과 같이 이 Convolutional layer에서는 32 x 32의 feature map을 12개 만든 것입니다.

 

총 12개의 서로 다른 관점에서 feature를 추출했다고 보면 되겠습니다.

 

그러므로, kernel도 12개의 tensor 형태일 것입니다.

 

 

Stanford CS Class (Con NN for Visual Recognition)

 

 

위 내용을 굉장히 잘 표현한 그림입니다.

 

3개의 channel을 조합하여 filter연산과 bias까지 더해주면,

 

하나의 scalar 값이 나오게 됩니다.

 



 

이것을 이동하여 연산합니다.

 

위 두 사진은 각각 filter1, filter2로 연산되어 feature map1, feature map2가 나온 그림입니다.

 

 

다시 반복하자면 , kernel의 수는 Input이든 hidden이든 feature map이 여러 개라고 하더라도,

 

각 지역 정보를 종합해서 하나의 값으로 표현하고 싶다라고 한다면, element-wise 연산에 있어 어쩔 수 없이 kernel도 input channel 수에 맞게 해준 것입니다.

 

 

 

위 내용을 우리가 2D grid에서 살펴본 것처럼 3D 로 Reshape 해봅시다.

 

 

 

자 이 그림을 통해 이해해봅시다.

 

여전히 이 안에는 sparse connection, parameter sharing이 포함되어 있습니다.

 

그 개념이 더 확장 되었다고 보시면 될 것 같습니다.

 

 

 

자, 우리가 앞에서

 

MLP를 기준으로 CNN의 1 channel 를 봤습니다.

 

이것은 vector를 똑같은 matrix로 표현한 것이죠.

 

index를 어떻게 묶어서 지역적 index끼리 묶어서 connection을 만들어주냐는 차이가 있죠.

 

CNN에서는 MLP와 다르게 index를 고려해주어야 한다는 것입니다.

 

여기서 index는 지역적인 특성을 가지는 위 예시에서 x1, x2, x7, x8로 묶인다는 특성입니다.

 

 

 

그리고, CNN multi-channel에서는 tensor 형태로 봅니다.

 

이 또한 vector로 호환이 가능합니다.

 

 

즉 MLP가 좀 범용적인 개념이라면,

 

CNN은 image에 대해서 몇 가지 추가되어 해놓은 것이라고 생각하면 되겠습니다.

 

 

 

우리는 그래서 Conolutional Operation의 개념, 왜 하는지, 그리고 multi-channel로 확장 되었을 때 어떻게 되는지,

 

그리고 MLP와 어떠한 관련이 있는지, 그리고 sparse connection과 parameter sharing 이런 강한 regularization에 의해서

 

image에 맞게 MLP의 모양을 변형한 게 CNN이구나 라는 것을 알아주시면 되겠습니다.