Han's Tech LAB

🧑🏻‍💻용어 정리 Deep Generative Models Generative Model Discriminative Model pre-training fine-tunning DBN VAE encoder autoencoder reparametrization trick 이번에는 Deep Generative Models이라 불리는 생성 모델에 대해 보겠습니다. Deep Generative Models 이 Generative Model은 생성 모델, '생성하는 모델'입니다. 즉, data를 생성할 수 있는 모델을 의미합니다. 우리는 평균과 분산을 가지는 확률 분포에 의해 data를 무한히 생성해낼 수 있습니다. 이것으로부터 sampling, generation 등으로 부릅니다. 만약 우리가 N(0, 1)과 같은..

🧑🏻‍💻용어 정리 Neural Networks Encoder Decoder Autoencoders feature dropout novelty CNN stacked denoising DAE CAE VAE input이 들어오는 것은 neural network 뿐 아니라 다른 Model도 마찬가지로, 어떻게든 connection을 엮어서, 이 connection은 벡터 연산으로 matmul이죠. 이것들을 여러 Layer로 엮어서 우리가 원하는 output을 뽑아내는 것이 우리의 목적입니다. Autoencoders Autoencoders는 똑같이 이런 concept을 이용하면서, 목적에 맞게 모델의 design을 살짝 바꾸며 다른 task에 대한 접근이 가능하게 합니다. Autoencoders는 아래와 같이 생..

🧑🏻‍💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention 지난 시간에 RNN에 이어 LSTM까지 살펴보았습니다. 이번에는 NLP를 현재 엄청나게 핫하게 해준 Attention에 대해 살펴보겠습니다. Attention Mechanism 이 Attention 개념을 통해서 우선, 우리가 주목하지 않았던 것들에 대해서 주목하기 시작한다는 것입니다. 이것은 결국 잃어버렸던 것에 대해서 주목을 하겠다는 것입니다. 이것은 Long-term Dependency에 대한 문제로 돌아옵니다. CNN에서의 depth처럼 RNN에서의 Sequence가 길어졌을 때 발생하는 문제는 비슷합니다. 이 문제를 해결하는 Algorithm이 필요합니다. 이를테면, Decode..

🧑🏻‍💻용어 정리 Neural Networks RNN LSTM Attention CNN Sequential Data Modeling Sequential Data Most of data are sequential Speech, Text, Image, ... Deep Learnings for Sequential Data Convolutional Neural Networks (CNN) Try to find local features from a sequence Recurrent Neural Networks : LSTM, GRU Try to capture the feature of the past 지금까지 입력에 대해 살펴보았죠. 그런데, 그 입력에 대해서 다 output이 존재합니다. 우리는 그 output을..