Han's Tech LAB

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network stride filter kernel topology MLP image multi-channel sparse connection parameter sharing 오늘부터 CNN에 대해서 배워봅시다. 지금까지는, linear separability, MLP, Feed-forward, Backpropagation, regularization, optimization 등을 살펴보았습니다. 그리고 오늘은 새로운 model CNN에 대해서 살펴봅니다. 그리고, 위와 같이 지금까지 배운 부분들이 MLP와 CNN이 다르지 않습니다. 거의 90%는 그대로 적용된다고 봐도..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network Optimization Optimization 자, 세 번째 문제에 대해 얘기해 봅시다. 일반적으로 optimization에 대한 문제를 살펴봅시다. 아래 그림과 같이, 효율성의 증가는 정확도를 떨어뜨립니다. 즉, 둘은 trade-off 관계이죠. 결국, 효율성이라는 것은 속도와 유사한 것입니다. 정확도를 올리고싶으면 속도가 조금 더 낮아지게 되죠. 그리고, approximation이나 heuristic 같은 algorithm을 생각해봅시다. 속도를 높이기 위해, 조금 더 효율적인 solution을 찾기 위해 만들어진 방법들입니다. 당연히 정확도는 full-search와..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다. 그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다. 그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다. 그런데 이상한 게 있습니다. 우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지.. 사람들이 3-MLP를 주로 사용했습니다. 그런데? 사람들이 10-MLP를 써보자와 같은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 지금까지 우리는 Neural Network에 대해 알아보았습니다. 지금까지 linear separability, Perceptron 이러한 이야기를 했지만, 그것은 모두 Multi-layer perceptron을 얘기하기 위한 것이었습니다. 그리고, Feed-forward, Backpropagation 각각은 prediction, training과정이라는 이야기를 했습니다. 그럼, 본격적으로 Deep Learning이 무엇인지 드디어 알아보겠습니다. Deep Learning Simple Neural Network는 Shallow Neural Network라고도 합니다. 일..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Backpropagation 자, 지금까지 우리가 같이 Peceptron을 통해 linear problem을 해결할 수 있음을 알았고, 그를 통해 우리가 Multi-layer perceptron을 구하여, 이를 통해 Non-linear problem 또한 해결할 수 있음을 알았습니다. 여기서, 그래서 Weight를 어떻게 구한다는 건데? 라는 의문이 생길 것입니다. 그것을 이번 장에서 다룹니다. 결국 한 마디로 말하자면, "Backpropagation이라는 알고리즘을 사용하여 구합니다."라고 할 수 있습니다. 57년도에 single-layer perceptron이 나오고, 69년도에 MLP가 나와서 우리들은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Feed-forward Network inputs이 Input layer를 거치고 여기서 계산을 통해 Hidden layer로 output이 전달되어 input으로 전달되고, 또 hidden layer에서 이루어진 연산의 결과가 output layer에 전달되어 network output으로 최종 전달됩니다. 그리고, 각각의 모든 input에 대하여 hidden에 모두 연산되어, 각각의 weight로 연산되어 들어가게 됩니다. 서로 다른 weight라는 것입니다. i -> j : Wji 위 필기와 같이 우리는 연산은 같아 보이지만 W^T의 값인 Weight vector는 다르게 구성되어 있습니다. 이 과정은..

🧑🏻‍💻용어 정리 BERT Self-Supervised Learning 사람이 직접 일일이 해줘야 하는 그런 labeling 과정이 없이도 원시 data만으로 어떤 머신러닝 model을 학습시킬 수 없을지에 대한 아이디어 model입니다. 입력 data만으로 입력 data의 일부를 가려놓고, 가려진 입력 data를 주었을 때, 가려진 부분을 잘 복원 혹은 예측하도록 하는, 그래서 주어진 입력 data의 일부를 출력 혹은 예측의 대상으로 삼아 Model을 학습하는 task가 되겠습니다. 이는 Computer vision 상에서 inpainting task를 예로 들 수 있습니다. 이 model은 특정 물체의 특징들을 잘 알고 있어야만 이 task를 잘 수행할 수가 있게 됩니다. 이러한 대규모 Data로 자..