Tous Les Jours STUDY

🧑🏻‍💻용어 정리 Computer vision Quantization Pruning Quantization & Pruning 이 Quantization이 왜 필요할까요? 결국 나오게 된 이유는, computation과 memory를 조금만 사용하면서 비슷한 accuracy를 내고싶다는 것입니다. 이것이 가장 큰 욕망이죠. 한편, CNN이 MLP 보다 우수한 이유는, MLP는 edge 개수만큼의 parameter의 개수가 요구되지만, CNN은 일부의 parameter sharing 등의 성질로 인하여 memory를 조금 사용합니다. 그리고 spare connection을 통해 조금의 weighted summation을 한다는 것입니다. 있습니다. 따라서, 이러한 기법을 사용할 때는 항상 세심한 주의를 기울..

🧑🏻‍💻용어 정리 Deep Generative Models Generative Model Generative Adversarial Nets (GAN) 이번 시간에는 GAN에 대해 다루겠습니다. Generative Adversarial Nets (GAN) 이 GAN은 번역하면 적대적 생성 신경망 모델로 직역을 합니다. 2014년 정도에 나왔습니다. 우선 두 명의 플레이어가 있다고 봅시다. 탐정, 위조범. 그리고 2개의 데이터가 있습니다. 미술품과 모조품. 탐정은 미술품인지 모조품인지 분간해냅니다. 반대로 위조범은 탐정을 속입니다. 위조범은 모조품을 진품인 것처럼 평가받아야합니다. 처음에는 학습이 잘 되지 않아, 둘 다 멍청합니다. 그런데, 계속해서 모조품을 잘 찾아내기 위해, 더 잘 속이기 위해 둘 다 공..

🧑🏻‍💻용어 정리 Deep Generative Models Generative Model Discriminative Model pre-training fine-tunning DBN VAE encoder autoencoder reparametrization trick 이번에는 Deep Generative Models이라 불리는 생성 모델에 대해 보겠습니다. Deep Generative Models 이 Generative Model은 생성 모델, '생성하는 모델'입니다. 즉, data를 생성할 수 있는 모델을 의미합니다. 우리는 평균과 분산을 가지는 확률 분포에 의해 data를 무한히 생성해낼 수 있습니다. 이것으로부터 sampling, generation 등으로 부릅니다. 만약 우리가 N(0, 1)과 같은..

🧑🏻‍💻용어 정리 Neural Networks Encoder Decoder Autoencoders feature dropout novelty CNN stacked denoising DAE CAE VAE input이 들어오는 것은 neural network 뿐 아니라 다른 Model도 마찬가지로, 어떻게든 connection을 엮어서, 이 connection은 벡터 연산으로 matmul이죠. 이것들을 여러 Layer로 엮어서 우리가 원하는 output을 뽑아내는 것이 우리의 목적입니다. Autoencoders Autoencoders는 똑같이 이런 concept을 이용하면서, 목적에 맞게 모델의 design을 살짝 바꾸며 다른 task에 대한 접근이 가능하게 합니다. Autoencoders는 아래와 같이 생..

🧑🏻‍💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Transfo..

🧑🏻‍💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention 지난 시간에 RNN에 이어 LSTM까지 살펴보았습니다. 이번에는 NLP를 현재 엄청나게 핫하게 해준 Attention에 대해 살펴보겠습니다. Attention Mechanism 이 Attention 개념을 통해서 우선, 우리가 주목하지 않았던 것들에 대해서 주목하기 시작한다는 것입니다. 이것은 결국 잃어버렸던 것에 대해서 주목을 하겠다는 것입니다. 이것은 Long-term Dependency에 대한 문제로 돌아옵니다. CNN에서의 depth처럼 RNN에서의 Sequence가 길어졌을 때 발생하는 문제는 비슷합니다. 이 문제를 해결하는 Algorithm이 필요합니다. 이를테면, Decode..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network LSTM Attention Cell state forget gate input gate output gate 이전 시간까지 RNN의 여러 가지 종류에 대해 알아보았습니다. 조금 더 살펴봅시다. RNN의 단점 RNN을 쭉 연결시켜 놓고 보니, 특히 Encoder, Decoder 부분에서 확연히 들어나는 이 특징은, 너무 입력되는 문장이 길다보니, Long-Term Dependency 문제가 발생합니다. input signal의 정보를 h t에 과거에서부터 계속 모아옵니다. 그런데 과거의 더 이전 시점의 무언가가 필..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network Propagation unfolding fold unfolding computational graph 우리가 지금까지, 여러 가지 기술들을 MLP를 기준으로 공부해왔습니다. 그러한 것으로부터 Deep MLP부터 성공적인 구조인 CNN까지 공부를 해봤습니다. 또 다른 성공적인 구조인 RNN에 대해 공부해보겠습니다. Recurrent Neural Network 이 RNN model도 1986년에 이미 제안이 되어온 model입니다. 결국 이 RNN도 Neural Network의 specialized form입니다. ..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network stride filter kernel topology MLP image multi-channel sparse connection parameter sharing AlexNet VGGNet ResNet GoogLeNet LeNet transfer learning 지난 시간에는 Convolutional operation에 대해 다뤘습니다. 오늘은 CNN의 구조에 대해 살펴보겠습니다. CNN Architecture sparse connection sparse connection concept를 봅시다. 위와 같이 dense connections를 우리가 지금까지..