Han's Tech LAB

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network stride filter kernel topology MLP image multi-channel sparse connection parameter sharing AlexNet VGGNet ResNet GoogLeNet LeNet transfer learning 지난 시간에는 Convolutional operation에 대해 다뤘습니다. 오늘은 CNN의 구조에 대해 살펴보겠습니다. CNN Architecture sparse connection sparse connection concept를 봅시다. 위와 같이 dense connections를 우리가 지금까지..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Backpropagation 자, 지금까지 우리가 같이 Peceptron을 통해 linear problem을 해결할 수 있음을 알았고, 그를 통해 우리가 Multi-layer perceptron을 구하여, 이를 통해 Non-linear problem 또한 해결할 수 있음을 알았습니다. 여기서, 그래서 Weight를 어떻게 구한다는 건데? 라는 의문이 생길 것입니다. 그것을 이번 장에서 다룹니다. 결국 한 마디로 말하자면, "Backpropagation이라는 알고리즘을 사용하여 구합니다."라고 할 수 있습니다. 57년도에 single-layer perceptron이 나오고, 69년도에 MLP가 나와서 우리들은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Feed-forward Network inputs이 Input layer를 거치고 여기서 계산을 통해 Hidden layer로 output이 전달되어 input으로 전달되고, 또 hidden layer에서 이루어진 연산의 결과가 output layer에 전달되어 network output으로 최종 전달됩니다. 그리고, 각각의 모든 input에 대하여 hidden에 모두 연산되어, 각각의 weight로 연산되어 들어가게 됩니다. 서로 다른 weight라는 것입니다. i -> j : Wji 위 필기와 같이 우리는 연산은 같아 보이지만 W^T의 값인 Weight vector는 다르게 구성되어 있습니다. 이 과정은..