Han's Tech LAB

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network Optimization Optimization 자, 세 번째 문제에 대해 얘기해 봅시다. 일반적으로 optimization에 대한 문제를 살펴봅시다. 아래 그림과 같이, 효율성의 증가는 정확도를 떨어뜨립니다. 즉, 둘은 trade-off 관계이죠. 결국, 효율성이라는 것은 속도와 유사한 것입니다. 정확도를 올리고싶으면 속도가 조금 더 낮아지게 되죠. 그리고, approximation이나 heuristic 같은 algorithm을 생각해봅시다. 속도를 높이기 위해, 조금 더 효율적인 solution을 찾기 위해 만들어진 방법들입니다. 당연히 정확도는 full-search와..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network regularization Dropout 1-norm penalty 2-norm penalty data augmentation multitask learning parameter tying parameter sharing & sparse connection Deep Neural Network 이어서 알아보겠습니다. overfitting을 피하기 위해선 우리가 어떻게 해야할까요? 아래 그림은 underfitting, approp fitting, overfitting 으로 underfitting은 training error가 높고, approp fitting과 overfitt..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다. 그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다. 그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다. 그런데 이상한 게 있습니다. 우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지.. 사람들이 3-MLP를 주로 사용했습니다. 그런데? 사람들이 10-MLP를 써보자와 같은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 지금까지 우리는 Neural Network에 대해 알아보았습니다. 지금까지 linear separability, Perceptron 이러한 이야기를 했지만, 그것은 모두 Multi-layer perceptron을 얘기하기 위한 것이었습니다. 그리고, Feed-forward, Backpropagation 각각은 prediction, training과정이라는 이야기를 했습니다. 그럼, 본격적으로 Deep Learning이 무엇인지 드디어 알아보겠습니다. Deep Learning Simple Neural Network는 Shallow Neural Network라고도 합니다. 일..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention Attention을 쓰는 이유? 굉장히 긴 문장이 들어왔다고 봅시다. 100개의 hidden state가 있어서, 맨 마지막의 sentense embedding이 output 생성할 때, 모든 단어의 정보를 다 포함하고 있을까요? output을 생성할 때, 각각의 단어를 다 보면서, 현재 hidden state와 각 100개의 hidden state간의 관계를 구하며 가장 attention score가 높은 것을 선택을 합니다. 결국, encoder가 source sentence를 하나의 vector로 encoding하기 어렵습니다. 그래서 이러한 seq2seq task 에서는 길이가 길 때, 성능이 떨어지는 문제가 있습니다..

🧑🏻‍💻용어 정리 Neural Networks Keras Layer California housing dataset Generating regression model for California housing dataset with keras functional API. 위와 같이 여러 필요 모듈들을 import 합니다. matplotlib.pyplot, tensorflow, keras, fetch_california_housing 그리고, housing 변수에 dataset을 할당합니다. 그런 뒤, print 문을 사용하여, 인자로, housing, housings.keys(), housing.feature_names를 넣어 각각 dataset의 내용, dataset의 키, dataset의 특성 이름을 ..

🧑🏻‍💻용어 정리 Convolutional Neural Networks fully-connected layer fully-connected neural network activation map Hyperparameters VGGNet ResNet Convolutional Neural Networks fully-connected layer fully-connected neural network Computer Vision (ConvNets) 2012년 AlexNet부터 성능이 급격히 좋아짐 2015년 사람보다 더 인식을 잘 하게 되었습니다. 여러분은 고양이와 강아지를 잘 구분할 수 있나요? 고양이와 강아지를 구분하기 위해서는 Computer Vision 분야에서 많이 쓰이는 CNN, 즉 Convolutio..