Han's Tech LAB

🧑🏻‍💻용어 정리 Computer vision Color image RGB fullcolor HSV YIQ YUV 지금까지 우리는 Gray Scale의 image들에 대해 다뤘습니다. 이제 Color image processing에 대해 다뤄보죠. Color image processing 실제로 color image가 많이 처리되죠. 지금까지 다룬 흑백은 밝기를 의미하는 것이라고 볼 수 있습니다. 사람은 밝기에 대해 색상처럼 민감하진 않습니다. 사람의 시각은 색상을 잘 구별합니다. 위 사진은 전자기파의 파장에 따른 선을 나타낸 것입니다. 그 중에 사람 눈에 보이는 것이 가시광선 구간입니다. 이렇게 파장에 따라 색이 위와 같이 구분됩니다. 이정도 교양으로 알고 넘어가시면 되겠습니다. 가로축은 파장입니다..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network LSTM Attention Cell state forget gate input gate output gate 이전 시간까지 RNN의 여러 가지 종류에 대해 알아보았습니다. 조금 더 살펴봅시다. RNN의 단점 RNN을 쭉 연결시켜 놓고 보니, 특히 Encoder, Decoder 부분에서 확연히 들어나는 이 특징은, 너무 입력되는 문장이 길다보니, Long-Term Dependency 문제가 발생합니다. input signal의 정보를 h t에 과거에서부터 계속 모아옵니다. 그런데 과거의 더 이전 시점의 무언가가 필..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network Propagation unfolding fold unfolding computational graph 우리가 지금까지, 여러 가지 기술들을 MLP를 기준으로 공부해왔습니다. 그러한 것으로부터 Deep MLP부터 성공적인 구조인 CNN까지 공부를 해봤습니다. 또 다른 성공적인 구조인 RNN에 대해 공부해보겠습니다. Recurrent Neural Network 이 RNN model도 1986년에 이미 제안이 되어온 model입니다. 결국 이 RNN도 Neural Network의 specialized form입니다. ..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention CNN Sequential Data Modeling Sequential Data Most of data are sequential Speech, Text, Image, ... Deep Learnings for Sequential Data Convolutional Neural Networks (CNN) Try to find local features from a sequence Recurrent Neural Networks : LSTM, GRU Try to capture the feature of the past 지금까지 입력에 대해 살펴보았죠. 그런데, 그 입력에 대해서 다 output이 존재합니다. 우리는 그 output을..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention RNN은 sequence 정보를 학습하고자 하는데, 뒤로 갈수록 앞에 학습한 것들을 잘 잊어버리는 "Long Term Dependency" 문제가 존재합니다. 그래서 LSTM과 GRU가 나왔습니다. 다음과 같이 살펴봅시다. Long Short-Term Memory (LSTM) Capable of learning long-term dependencies. LSTM networks introduce a new structure called a memory cell. An LSTM can learn to bridge time intervals in excess of 1000 steps. Gate units that learn to..

https://arxiv.org/abs/1802.04762 Deep Predictive Coding Network for Object Recognition Based on the predictive coding theory in neuroscience, we designed a bi-directional and recurrent neural net, namely deep predictive coding networks (PCN). It has feedforward, feedback, and recurrent connections. Feedback connections from a higher layer ca arxiv.org Deep Predictive Coding Network for Object Re..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Backpropagation 자, 지금까지 우리가 같이 Peceptron을 통해 linear problem을 해결할 수 있음을 알았고, 그를 통해 우리가 Multi-layer perceptron을 구하여, 이를 통해 Non-linear problem 또한 해결할 수 있음을 알았습니다. 여기서, 그래서 Weight를 어떻게 구한다는 건데? 라는 의문이 생길 것입니다. 그것을 이번 장에서 다룹니다. 결국 한 마디로 말하자면, "Backpropagation이라는 알고리즘을 사용하여 구합니다."라고 할 수 있습니다. 57년도에 single-layer perceptron이 나오고, 69년도에 MLP가 나와서 우리들은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Feed-forward Network inputs이 Input layer를 거치고 여기서 계산을 통해 Hidden layer로 output이 전달되어 input으로 전달되고, 또 hidden layer에서 이루어진 연산의 결과가 output layer에 전달되어 network output으로 최종 전달됩니다. 그리고, 각각의 모든 input에 대하여 hidden에 모두 연산되어, 각각의 weight로 연산되어 들어가게 됩니다. 서로 다른 weight라는 것입니다. i -> j : Wji 위 필기와 같이 우리는 연산은 같아 보이지만 W^T의 값인 Weight vector는 다르게 구성되어 있습니다. 이 과정은..

🧑🏻‍💻 주요 정리 NLP Word Embedding Modeling Sequence MLP CNN RNN Language Modeling Autoregressive Language Modeling Machine Translation Seq2Seq Attention Transformer 배경 지식 NLP를 배우기 위해선 다음과 같은 구성요소들을 알아야 합니다. 함께 알아봅시다. Word Embedding 컴퓨터는 인간의 언어를 알아듣지 못 합니다. 그래서 우리는 이 문자들을, 이 Semantic 단어를 어떤 숫자로 mapping 시켜주어야 합니다. 이를 word embedding 작업이라고 부릅니다. Each word can be represented as a vector based on the Dist..