Han's Tech LAB

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Backpropagation 자, 지금까지 우리가 같이 Peceptron을 통해 linear problem을 해결할 수 있음을 알았고, 그를 통해 우리가 Multi-layer perceptron을 구하여, 이를 통해 Non-linear problem 또한 해결할 수 있음을 알았습니다. 여기서, 그래서 Weight를 어떻게 구한다는 건데? 라는 의문이 생길 것입니다. 그것을 이번 장에서 다룹니다. 결국 한 마디로 말하자면, "Backpropagation이라는 알고리즘을 사용하여 구합니다."라고 할 수 있습니다. 57년도에 single-layer perceptron이 나오고, 69년도에 MLP가 나와서 우리들은..

🧑🏻‍💻용어 정리 Neural Networks Feed-forward Backpropagation Feed-forward Network inputs이 Input layer를 거치고 여기서 계산을 통해 Hidden layer로 output이 전달되어 input으로 전달되고, 또 hidden layer에서 이루어진 연산의 결과가 output layer에 전달되어 network output으로 최종 전달됩니다. 그리고, 각각의 모든 input에 대하여 hidden에 모두 연산되어, 각각의 weight로 연산되어 들어가게 됩니다. 서로 다른 weight라는 것입니다. i -> j : Wji 위 필기와 같이 우리는 연산은 같아 보이지만 W^T의 값인 Weight vector는 다르게 구성되어 있습니다. 이 과정은..

🧑🏻‍💻용어 정리 BERT Self-Supervised Learning 사람이 직접 일일이 해줘야 하는 그런 labeling 과정이 없이도 원시 data만으로 어떤 머신러닝 model을 학습시킬 수 없을지에 대한 아이디어 model입니다. 입력 data만으로 입력 data의 일부를 가려놓고, 가려진 입력 data를 주었을 때, 가려진 부분을 잘 복원 혹은 예측하도록 하는, 그래서 주어진 입력 data의 일부를 출력 혹은 예측의 대상으로 삼아 Model을 학습하는 task가 되겠습니다. 이는 Computer vision 상에서 inpainting task를 예로 들 수 있습니다. 이 model은 특정 물체의 특징들을 잘 알고 있어야만 이 task를 잘 수행할 수가 있게 됩니다. 이러한 대규모 Data로 자..

🧑🏻‍💻용어 정리 Transformer Transformer RNN과 CNN 없이 attention module만으로 전체 Sequence를 입력 및 출력으로 처리할 수 있는 동작이 이루어집니다. RNN model의 Long-term Dependency Issue가 존재합니다. 입력으로 주는 h t에 정보가 변질되지 않고 잘 축적되어 있어야 합니다. 저 멀리있는 곳에서 학습 데이터 소실이 일어났다면, gradient signal을 저 멀리 있는 time step까지 전달해 줘야 하는데, 여러 time step에 걸쳐서 gradient 정보가 전달되면서, 정보가 변질되는 문제가 생겨 학습이 제대로 이루어지지 않을 수 있습니다. 그래서, transformer model에서 attention model을 사용..

🎯 Keyword 🎯 - Supervised Learning - Learning pipeline - Hypothesis f - Learning model 이 동물의 이름은 무엇인가요? 여러분은 위 질문을 보고 바로 귀여운 고양이다 ! 라고 말할 수 있습니다. 위 귀여운 고양이를 보고 여러분은 동물학적인 정의로 고양이입니다라고 하기 보다는 경험적으로 알게 되었다고 할 것입니다. Machine Learning도 이와 같이 Data로부터 내재된 패턴을 학습하는 과정입니다. image recognition problem, 집값의 추이 분석, 통계 분석 은 다음과 같이 분류할 수 있습니다. Machine Learning Problem Binary Classification Multiclass Classificat..