Han's Tech LAB

🧑🏻‍💻용어 정리 Computer vision Color image RGB fullcolor HSV YIQ YUV 지금까지 우리는 Gray Scale의 image들에 대해 다뤘습니다. 이제 Color image processing에 대해 다뤄보죠. Color image processing 실제로 color image가 많이 처리되죠. 지금까지 다룬 흑백은 밝기를 의미하는 것이라고 볼 수 있습니다. 사람은 밝기에 대해 색상처럼 민감하진 않습니다. 사람의 시각은 색상을 잘 구별합니다. 위 사진은 전자기파의 파장에 따른 선을 나타낸 것입니다. 그 중에 사람 눈에 보이는 것이 가시광선 구간입니다. 이렇게 파장에 따라 색이 위와 같이 구분됩니다. 이정도 교양으로 알고 넘어가시면 되겠습니다. 가로축은 파장입니다..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention Transformer Generator discriminator self-attention layer normalization multi-head attention positional encoding https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect..

🧑🏻‍💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention 지난 시간에 RNN에 이어 LSTM까지 살펴보았습니다. 이번에는 NLP를 현재 엄청나게 핫하게 해준 Attention에 대해 살펴보겠습니다. Attention Mechanism 이 Attention 개념을 통해서 우선, 우리가 주목하지 않았던 것들에 대해서 주목하기 시작한다는 것입니다. 이것은 결국 잃어버렸던 것에 대해서 주목을 하겠다는 것입니다. 이것은 Long-term Dependency에 대한 문제로 돌아옵니다. CNN에서의 depth처럼 RNN에서의 Sequence가 길어졌을 때 발생하는 문제는 비슷합니다. 이 문제를 해결하는 Algorithm이 필요합니다. 이를테면, Decode..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network LSTM Attention Cell state forget gate input gate output gate 이전 시간까지 RNN의 여러 가지 종류에 대해 알아보았습니다. 조금 더 살펴봅시다. RNN의 단점 RNN을 쭉 연결시켜 놓고 보니, 특히 Encoder, Decoder 부분에서 확연히 들어나는 이 특징은, 너무 입력되는 문장이 길다보니, Long-Term Dependency 문제가 발생합니다. input signal의 정보를 h t에 과거에서부터 계속 모아옵니다. 그런데 과거의 더 이전 시점의 무언가가 필..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network Propagation unfolding fold unfolding computational graph 우리가 지금까지, 여러 가지 기술들을 MLP를 기준으로 공부해왔습니다. 그러한 것으로부터 Deep MLP부터 성공적인 구조인 CNN까지 공부를 해봤습니다. 또 다른 성공적인 구조인 RNN에 대해 공부해보겠습니다. Recurrent Neural Network 이 RNN model도 1986년에 이미 제안이 되어온 model입니다. 결국 이 RNN도 Neural Network의 specialized form입니다. ..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network stride filter kernel topology MLP image multi-channel sparse connection parameter sharing AlexNet VGGNet ResNet GoogLeNet LeNet transfer learning 지난 시간에는 Convolutional operation에 대해 다뤘습니다. 오늘은 CNN의 구조에 대해 살펴보겠습니다. CNN Architecture sparse connection sparse connection concept를 봅시다. 위와 같이 dense connections를 우리가 지금까지..

🧑🏻‍💻용어 정리 Computer vision Edge canny detector non-maximun suppresion connected component 이번엔 edge detector에 대해 알아봅시다. Canny edge detector The most widely used edge detector Theoretical model : step-edges corrupted by additive Gaussian noise Canny has shown that the first derivative of the Gaussian closely approximates the operator that optimizes the product of signal-to-noise ratio and localizat..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 우리가 지금까지, 1957년 perceptron, 69년 MLP, 89년 Backpropagation 의 등장을 봤습니다. 그런데, 95년에 나온 SVM 이 이론상 완벽하게 Neural Network 보다 우위에 있었기에, 95년부터 2000년까지 NN이 죽어있었습니다. 그러다가, 2006년에 다시 Deep Learning이 좋은 성과를 내고, 2011년에 다시 살아나게 됩니다. 그런데 이상한 게 있습니다. 우리가 2006년 전까지 Deep Learning이 좋은 성과를 내기 전까지.. 사람들이 3-MLP를 주로 사용했습니다. 그런데? 사람들이 10-MLP를 써보자와 같은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Deep Neural Network 지금까지 우리는 Neural Network에 대해 알아보았습니다. 지금까지 linear separability, Perceptron 이러한 이야기를 했지만, 그것은 모두 Multi-layer perceptron을 얘기하기 위한 것이었습니다. 그리고, Feed-forward, Backpropagation 각각은 prediction, training과정이라는 이야기를 했습니다. 그럼, 본격적으로 Deep Learning이 무엇인지 드디어 알아보겠습니다. Deep Learning Simple Neural Network는 Shallow Neural Network라고도 합니다. 일..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention Attention을 쓰는 이유? 굉장히 긴 문장이 들어왔다고 봅시다. 100개의 hidden state가 있어서, 맨 마지막의 sentense embedding이 output 생성할 때, 모든 단어의 정보를 다 포함하고 있을까요? output을 생성할 때, 각각의 단어를 다 보면서, 현재 hidden state와 각 100개의 hidden state간의 관계를 구하며 가장 attention score가 높은 것을 선택을 합니다. 결국, encoder가 source sentence를 하나의 vector로 encoding하기 어렵습니다. 그래서 이러한 seq2seq task 에서는 길이가 길 때, 성능이 떨어지는 문제가 있습니다..