Han's Tech LAB

🎯 Keyword 🎯 - Gradient Descent Gradient Descent는 iterative하게 최적 parameter θ 를 찾아가는 과정입니다. Gradient 함수를 미분하여 얻는 term으로 해당 함수의 변화하는 정도를 표현하는 값 우리가 최소로 하고 싶은 loss function과 error surface가 있다고 합시다. 1. 어떤 임의의 point에서 이 error surface에서 최소인 point를 찾아가는 것이 목적입니다. 2. 해당 error surface에서 최소인 point의 특징은 gradient가 0인 것입니다. 3. Gradient Descent에서는 error surface에서 Gradient가 0인 지점까지 θ를 바꿔 나가며 탐색합니다. 4. 해당 탐색 과정은..

🎯 Keyword 🎯 - linear model - MSE - model parameter - score - parameter optimization Parameter Optimization - model parameter가 달라짐에 따라 주어진 data에 fitting하는 과정에서 오차가 발생하게 됩니다. - 주어진 세타 값이 달라짐에 따라 커브를 그리게 됩니다. - loss function은 model parameter에 의한 함수가 되게 됩니다. θ0, θ1이 바뀌게 됨에 따라 MSE가 달라지므로 Error 곡선이 바뀌게 됩니다. 우리의 목적 ? -> cost function을 최소로 만드는 θ0, θ1을 찾는 것입니다. => 그로부터 data에 fitting하는 선형 모델을 찾게 되는 것입니다. ..

🎯 Keyword 🎯 - linear model - MSE - model parameter Linear Model - Hopothesis set H => Input Feature와 Model parameter의 linear combinations으로 이루어져 있습니다. => 단순하다. => 입력이 출력에 얼마나 영향을 주는지를 알 수 있다. => 다양한 환경에서 안정적인 성능 제공 가능. => 선형 모델이라고 해서 반드시 입력 변수에 선형일 필요는 없습니다. Regression은 Supervised Learning 문제에 포함되기 때문에 사용하는 data 샘플의 구성은 입력 x와 출력 y의 pair로 구성됩니다. 이때, y는 연속적인 값이 됩니다. 하나의 입력변수는 univaritate problem이라..

🎯 Keyword 🎯 - Generalization - training error - validation error - test error - Curse of dimension - Regularization - Ensemble - cross-validation Machine Learning은 그 자체로 Data의 결핍으로 인한 불확실성을 포함하고 있습니다. 모든 Data 살필 수 없기 때문이죠. 그래서 우리에게 중요한 것은 Generalization입니다. 모델이 일반화된 성능을 측정하기 위한 measurement로써 Generalization error E 를 정의해야 합니다. Supervised Learning에 있어 다음과 같은 Error를 통해 를 Generalization error E 최소화 ..

🎯 Keyword 🎯 - Supervised Learning - Learning pipeline - Hypothesis f - Learning model 이 동물의 이름은 무엇인가요? 여러분은 위 질문을 보고 바로 귀여운 고양이다 ! 라고 말할 수 있습니다. 위 귀여운 고양이를 보고 여러분은 동물학적인 정의로 고양이입니다라고 하기 보다는 경험적으로 알게 되었다고 할 것입니다. Machine Learning도 이와 같이 Data로부터 내재된 패턴을 학습하는 과정입니다. image recognition problem, 집값의 추이 분석, 통계 분석 은 다음과 같이 분류할 수 있습니다. Machine Learning Problem Binary Classification Multiclass Classificat..

머신러닝에 포함되는 개념, 딥러닝에 대해 이해. 입력 데이터가 주어졌을 때, 답을 유추해 줄 수 있는 최적의 함수를 찾는 것. 서로 다른 유형의 머신러닝 기법은 최적의 함수를 찾는 기법이 서로 다름. ***머신러닝*** 패턴 인식 분야, 고차원 방정식 등에 자주 쓰임. 복잡한 문제를 데이터 기반으로 숨겨진 패턴을 인지해 해결. 학습 데이터의 예측 오류를 최소화 할 수 있도록 최적화 하는 알고리즘을 통해 학습. "데이터를 기반으로 패턴을 학습하고 결과를 추론하는 알고리즘 기법"

지난 포스팅 마지막 코드에서 더 자세한 내용은 아래와 같다.

Machine-Learning D1과 D2 그래프에서 D2 그래프에 왼쪽 끝 점 하나를 추가하여 '성공적인 첫 점 끝점 잇기 방법'과 '실패한 첫 점 끝점 잇기 방법'을 제시한다. D1의 경우와 D2의 경우가 점 하나를 추가하여 더 성공적인 방법임을 보인다. 더 자세한 코드는 다음과 같다.