Han's Tech LAB

🧑🏻‍💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention 지난 시간에 RNN에 이어 LSTM까지 살펴보았습니다. 이번에는 NLP를 현재 엄청나게 핫하게 해준 Attention에 대해 살펴보겠습니다. Attention Mechanism 이 Attention 개념을 통해서 우선, 우리가 주목하지 않았던 것들에 대해서 주목하기 시작한다는 것입니다. 이것은 결국 잃어버렸던 것에 대해서 주목을 하겠다는 것입니다. 이것은 Long-term Dependency에 대한 문제로 돌아옵니다. CNN에서의 depth처럼 RNN에서의 Sequence가 길어졌을 때 발생하는 문제는 비슷합니다. 이 문제를 해결하는 Algorithm이 필요합니다. 이를테면, Decode..

🧑🏻‍💻용어 정리 Computer vision Edge canny detector non-maximun suppresion connected component 이번엔 edge detector에 대해 알아봅시다. Canny edge detector The most widely used edge detector Theoretical model : step-edges corrupted by additive Gaussian noise Canny has shown that the first derivative of the Gaussian closely approximates the operator that optimizes the product of signal-to-noise ratio and localizat..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network Optimization Optimization 자, 세 번째 문제에 대해 얘기해 봅시다. 일반적으로 optimization에 대한 문제를 살펴봅시다. 아래 그림과 같이, 효율성의 증가는 정확도를 떨어뜨립니다. 즉, 둘은 trade-off 관계이죠. 결국, 효율성이라는 것은 속도와 유사한 것입니다. 정확도를 올리고싶으면 속도가 조금 더 낮아지게 되죠. 그리고, approximation이나 heuristic 같은 algorithm을 생각해봅시다. 속도를 높이기 위해, 조금 더 효율적인 solution을 찾기 위해 만들어진 방법들입니다. 당연히 정확도는 full-search와..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network regularization Dropout 1-norm penalty 2-norm penalty data augmentation multitask learning parameter tying parameter sharing & sparse connection Deep Neural Network 이어서 알아보겠습니다. overfitting을 피하기 위해선 우리가 어떻게 해야할까요? 아래 그림은 underfitting, approp fitting, overfitting 으로 underfitting은 training error가 높고, approp fitting과 overfitt..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다. 그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다. 그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다. 그런데 이상한 게 있습니다. 우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지.. 사람들이 3-MLP를 주로 사용했습니다. 그런데? 사람들이 10-MLP를 써보자와 같은..

🧑🏻‍💻용어 정리 Neural Networks Keras Layer California housing dataset Generating regression model for California housing dataset with keras functional API. 위와 같이 여러 필요 모듈들을 import 합니다. matplotlib.pyplot, tensorflow, keras, fetch_california_housing 그리고, housing 변수에 dataset을 할당합니다. 그런 뒤, print 문을 사용하여, 인자로, housing, housings.keys(), housing.feature_names를 넣어 각각 dataset의 내용, dataset의 키, dataset의 특성 이름을 ..