Han's Tech LAB

🧑🏻‍💻용어 정리 Computer vision Edge canny detector non-maximun suppresion connected component 이번엔 edge detector에 대해 알아봅시다. Canny edge detector The most widely used edge detector Theoretical model : step-edges corrupted by additive Gaussian noise Canny has shown that the first derivative of the Gaussian closely approximates the operator that optimizes the product of signal-to-noise ratio and localizat..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network Optimization Optimization 자, 세 번째 문제에 대해 얘기해 봅시다. 일반적으로 optimization에 대한 문제를 살펴봅시다. 아래 그림과 같이, 효율성의 증가는 정확도를 떨어뜨립니다. 즉, 둘은 trade-off 관계이죠. 결국, 효율성이라는 것은 속도와 유사한 것입니다. 정확도를 올리고싶으면 속도가 조금 더 낮아지게 되죠. 그리고, approximation이나 heuristic 같은 algorithm을 생각해봅시다. 속도를 높이기 위해, 조금 더 효율적인 solution을 찾기 위해 만들어진 방법들입니다. 당연히 정확도는 full-search와..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network regularization Dropout 1-norm penalty 2-norm penalty data augmentation multitask learning parameter tying parameter sharing & sparse connection Deep Neural Network 이어서 알아보겠습니다. overfitting을 피하기 위해선 우리가 어떻게 해야할까요? 아래 그림은 underfitting, approp fitting, overfitting 으로 underfitting은 training error가 높고, approp fitting과 overfitt..

🧑🏻‍💻용어 정리 Computer vision Edge Detection Sobel filter filtering burring Image Gradient x방향 변화량, y 방향 변화량을 측정하는 filter로 filtering을 해서, 변화량 값을 가지고 있는 image가 나오게 됩니다. 입력 이미지 기호는 다음과 같이 나타냅니다. 이 x 편미분을 하는 것과 sobel filter를 적용하는 것과 이 image에서는 동일한 의미입니다. 실제 편미분은 아니지만, 편미분과 같이 생각하면 됩니다. Gradient를 구하는 것이 image에 sobel filter를 적용시키는 것입니다. 이것을 image gradient라고 합니다. x, y 각 방향 gradient를 구하는 것입니다. 그리고 그 gradi..

🧑🏻‍💻용어 정리 Computer vision Edge Detection Sobel filter filtering burring Edge Detection Goal : Identify sudden changes (discontinuities) in an image Edge는 쉽게 보면 변화가 있는 부분, 경계선이라고 볼 수 있습니다. 결국, 변화가 일어나는 경계선을 찾는 것이죠. 이러한 부분에서도 우리가 edges를 찾아볼 수 있습니다. 위와 같은 예시를 살펴봅시다. 한 Image에 대해서 우리는 빨간 선에 따라 pixel 값에 대한 intensity function을 그릴 수 있습니다. 1차로 표현한 것입니다. 2차로 하려면 3D가 필요하죠. 그렇다면, edges를 찾기 위해서 맨 오른쪽 사진과 같이,..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다. 그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다. 그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다. 그런데 이상한 게 있습니다. 우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지.. 사람들이 3-MLP를 주로 사용했습니다. 그런데? 사람들이 10-MLP를 써보자와 같은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 지금까지 우리는 Neural Network에 대해 알아보았습니다. 지금까지 linear separability, Perceptron 이러한 이야기를 했지만, 그것은 모두 Multi-layer perceptron을 얘기하기 위한 것이었습니다. 그리고, Feed-forward, Backpropagation 각각은 prediction, training과정이라는 이야기를 했습니다. 그럼, 본격적으로 Deep Learning이 무엇인지 드디어 알아보겠습니다. Deep Learning Simple Neural Network는 Shallow Neural Network라고도 합니다. 일..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention Attention을 쓰는 이유? 굉장히 긴 문장이 들어왔다고 봅시다. 100개의 hidden state가 있어서, 맨 마지막의 sentense embedding이 output 생성할 때, 모든 단어의 정보를 다 포함하고 있을까요? output을 생성할 때, 각각의 단어를 다 보면서, 현재 hidden state와 각 100개의 hidden state간의 관계를 구하며 가장 attention score가 높은 것을 선택을 합니다. 결국, encoder가 source sentence를 하나의 vector로 encoding하기 어렵습니다. 그래서 이러한 seq2seq task 에서는 길이가 길 때, 성능이 떨어지는 문제가 있습니다..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention CNN Sequential Data Modeling Sequential Data Most of data are sequential Speech, Text, Image, ... Deep Learnings for Sequential Data Convolutional Neural Networks (CNN) Try to find local features from a sequence Recurrent Neural Networks : LSTM, GRU Try to capture the feature of the past 지금까지 입력에 대해 살펴보았죠. 그런데, 그 입력에 대해서 다 output이 존재합니다. 우리는 그 output을..

🧑🏻‍💻 Topic 정리 - image filtering - Gaussian Filter - linear interpolation - Bilinear interpolation 지난 시간까지, image를 다루는 것과, image를 다루는 것에 있어서, histogram도 그려보고, equalization, filtering 그리고 중요한 Gaussian filter에 대해서도 알아보았다. Image pyramids 다음 topic에 대해 살펴봅시다. 이미지를 10배 키우는 것이 가능할까? 위 한 pixel에 대해서 10칸씩 복제를 해서 넓혀간다면 어떻게 될까요? 10 x 10의 블락을 똑같은 값으로 넣는다고 보면 됩니다. 그럼 어떻게 될까요? 이렇게 보기 좋지 않게, block이 보이는 사진이 나오게 됩..