Artificial Intelligence
🧑🏻💻용어 정리 Computer vision Image Restoration noise Gaussian Noise Wiener Filter Weight Adaptive Filtering Gaussian Noise Gaussian Noise는 일반적인 image에 Gaussian Noise를 씌워 noise를 넣는 것을 의미합니다. 위 레나 사진과 같죠. 우리가 배우는 noise는 더해져서 들어가는 noise를 다룹니다. 그래서 이는 Additive White Gaussian Noise (AWGN)라고 할 수 있습니다. Additive White Gaussian Noise (AWGN) image와 동일한 크기의 noise가 있는 것입니다. 더해져서 반영된 noise들을 image에서 어떻게 없앨지에 대한..
🧑🏻💻용어 정리 Neural Networks Encoder Decoder Autoencoders feature dropout novelty CNN stacked denoising DAE CAE VAE input이 들어오는 것은 neural network 뿐 아니라 다른 Model도 마찬가지로, 어떻게든 connection을 엮어서, 이 connection은 벡터 연산으로 matmul이죠. 이것들을 여러 Layer로 엮어서 우리가 원하는 output을 뽑아내는 것이 우리의 목적입니다. Autoencoders Autoencoders는 똑같이 이런 concept을 이용하면서, 목적에 맞게 모델의 design을 살짝 바꾸며 다른 task에 대한 접근이 가능하게 합니다. Autoencoders는 아래와 같이 생..
🧑🏻💻용어 정리 Neural Networks RNN LSTM Attention Transformer Generator discriminator self-attention layer normalization multi-head attention positional encoding https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect..
🧑🏻💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Transfo..
🧑🏻💻용어 정리 Neural Networks Recurrent Neural Network LSTM Attention 지난 시간에 RNN에 이어 LSTM까지 살펴보았습니다. 이번에는 NLP를 현재 엄청나게 핫하게 해준 Attention에 대해 살펴보겠습니다. Attention Mechanism 이 Attention 개념을 통해서 우선, 우리가 주목하지 않았던 것들에 대해서 주목하기 시작한다는 것입니다. 이것은 결국 잃어버렸던 것에 대해서 주목을 하겠다는 것입니다. 이것은 Long-term Dependency에 대한 문제로 돌아옵니다. CNN에서의 depth처럼 RNN에서의 Sequence가 길어졌을 때 발생하는 문제는 비슷합니다. 이 문제를 해결하는 Algorithm이 필요합니다. 이를테면, Decode..
🧑🏻💻용어 정리 Computer vision Image Restoration noise salt and pepper noise 이번에는 restoration에 대해 알아보겠습니다. Image Restoration 이 image restoration의 목적은 image degradation을 줄이는 것입니다. 이 degradation에는 다음과 같은 종류가 있습니다. Noise 촬영 과정 중 센서 이상 or 전송하는 과정 중 압축하고 풀고 할 때, 과정 속에서 오차가 발생 out-of-focus blur 초점이 안 나오는 blur motion blur 피사체나 찍는 사람이 움직이는 것 이러한 여러 image에 대해서 다음과 같은 식으로 표현할 수 있습니다. 우리에게 주어진 degraded image를 g..
🧑🏻💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network LSTM Attention Cell state forget gate input gate output gate 이전 시간까지 RNN의 여러 가지 종류에 대해 알아보았습니다. 조금 더 살펴봅시다. RNN의 단점 RNN을 쭉 연결시켜 놓고 보니, 특히 Encoder, Decoder 부분에서 확연히 들어나는 이 특징은, 너무 입력되는 문장이 길다보니, Long-Term Dependency 문제가 발생합니다. input signal의 정보를 h t에 과거에서부터 계속 모아옵니다. 그런데 과거의 더 이전 시점의 무언가가 필..
🧑🏻💻용어 정리 Computer vision Edge Segmentation huffman coding run-length encoding Transfer coding DCT Quantization Thresholding Zigzag scanning DC AC Entropy coding Decoding 이번에는 compression 중에서도 lossy compression, 즉 손실 압축에 대해 다루겠습니다. 해당 과정을 이어서 살펴보겠습니다. Transfer coding block은 m x n의 크기에 대해서 다루겠습니다. DCT가지고 저번에는 4 x 4로 했었고, 8 x 8의 block으로 진행해보겠습니다. 지금, 0 ~ 255 사이의 값들이 들어가 있습니다. 다음의 과정을 봅시다. 1. 각 pix..
🧑🏻💻용어 정리 Neural Networks Feed-forward Backpropagation Convolutional Neural Network Recurrent Neural Network Propagation unfolding fold unfolding computational graph 우리가 지금까지, 여러 가지 기술들을 MLP를 기준으로 공부해왔습니다. 그러한 것으로부터 Deep MLP부터 성공적인 구조인 CNN까지 공부를 해봤습니다. 또 다른 성공적인 구조인 RNN에 대해 공부해보겠습니다. Recurrent Neural Network 이 RNN model도 1986년에 이미 제안이 되어온 model입니다. 결국 이 RNN도 Neural Network의 specialized form입니다. ..