[Linear Regression] part 2 - 2

🎯 Keyword 🎯

- linear model
- MSE
- model parameter
- score
- parameter optimization

Parameter Optimization

- model parameter가 달라짐에 따라 주어진 data에 fitting하는 과정에서 오차가 발생하게 됩니다.

 

- 주어진 세타 값이 달라짐에 따라 커브를 그리게 됩니다.

 

- loss function은 model parameter에 의한 함수가 되게 됩니다.

 

θ0, θ1이 바뀌게 됨에 따라 MSE가 달라지므로 Error 곡선이 바뀌게 됩니다.

 

우리의 목적 ?

 

-> cost function을 최소로 만드는 θ0, θ1을 찾는 것입니다.

=> 그로부터 data에 fitting하는 선형 모델을 찾게 되는 것입니다.

 

데이터 값에 의해 학습이 진행 되면서 θ0, θ1이 주어진 데이터에 fitting이 되면서 주어진 등고선의 낮은 값으로 fitting이 됩니다.

Loss function이 가장 낮은 값을 갖게 될 때, 해당 parameter θ0 θ1이 최적화된 선형 모델을 제공하는 것을 알 수 있습니다.

이 θ0, θ1을 구하는 과정을 parameter optimization이라고 합니다.

 

입력 데이터를 matrix 형태로 정리했을 때, 입력 vector x는 d-dimension하는 vector이므로 x1 ~ xd까지로 표현 되지만 offset인 θ0를 표현하기 위해 벡터의 앞은 1로 구성 되어 있습니다.

 

linear regression에서 우리의 정답인 y 역시  n-dimension 을 이루고 있습니다.

그 이유는 n개의 sample 마다 하나씩의 정답이 존재하기 때문인 것입니다.

 

 parameter vector θ는 θ0 ~ θd까지 있기 때문에 d + 1의 dimensional vector입니다.

 

입력 matrix X와 θ를 곱한 것이 Score입니다.

 

Score과 Y의 차이 Squared 값을 통해 Loss를 통한 matrix 형태를 계산할 수 있습니다.

 

모델의 출력과 Y의 차이를 제곱하고 평균하여 계산합니다.

 

최적화된 parameter θ는 cost function을 가장 최소화하는 것입니다.

 

 

수식을 풀기 위해서 θ에 관한 derivative term을 구한 뒤, 0이 되도록 하는 θ의 값을 구하면 최적화된 parameter 값을 구할 수 있습니다.

-> 이 과정을 Least Square Problem이라고 하며 방정식을 Normal Equation이라고 합니다.

 

이 때, loss function은 differentiable하고 convex해야합니다.

 

이러한 방식으로 θ를 구하면 one step으로 해를 구할 수 있습니다.

 

그러나 이렇게 Normal Equation을 이용해서 해를 구하는 경우, Data의 샘플 숫자가 늘어나면 비효율 적임이 밝혀졌습니다.

 

N이 늘어나게 되면 이 matrix의 dimension이 증가하게 되고, matrix inverse 등의 연산을 함에 있어 굉장히 큰 복잡도가 소요되게 됩니다.

또는, matrix의 inverse가 존재하지 않는 경우도 있어, 이런 경우 해를 구하기가 어렵습니다.

 

 

이러한 방식을 해결하기 위해서 우리는 Gradient Descent 방식을 사용합니다.