[Linear Regression] part 2 - 1

🎯 Keyword 🎯

- linear model
- MSE
- model parameter

 

 

Linear Model

- Hopothesis set H => Input Feature와 Model parameter의 linear combinations으로 이루어져 있습니다.

 

=> 단순하다.

=> 입력이 출력에 얼마나 영향을 주는지를 알 수 있다.

=> 다양한 환경에서 안정적인 성능 제공 가능.

 

=> 선형 모델이라고 해서 반드시 입력 변수에 선형일 필요는 없습니다.

 

 

Regression은 Supervised Learning 문제에 포함되기 때문에 사용하는 data 샘플의 구성은 입력 x와 출력 y의 pair로 구성됩니다.

이때, y는 연속적인 값이 됩니다.

 

하나의 입력변수는 univaritate problem이라고 합니다.

 

다양한 변수들을 Regression model에 포함하는 것을 multivariate problem이라고 합니다.

=> 입력 변수의 개수에 이해서만 결정되는 차이입니다.

 

 

Linear Regression은 "주어진 입력에 대해 출력과의 선형적인 관계를 추론하는 문제"입니다.

• 입력과 출력 쌍으로 선형 모델을 학습하게 됩니다.
• 새로운 입력이 모델에 들어갔을 때 출력을 내놓는 모델입니다.

 

1. 어떤 predictor를 사용할 것인지?

 

하나의 입력 feature를 사용하는 Hypothesis를 Univariate linear model이라고 합니다.

 

이 때, 입력 feature는 하나이지만, model parameter는 2개입니다.

 

 

2. 어떻게 오차를 줄일 것인가?

Linear model에서 loss를 측정하기 위해 MSE(Min Squared Error)를 사용합니다.

=> 모델의 출력과 정답과의 오차입니다.

 

 

3. 어떻게 parameter를 구할 것인가?

-> Gradient Descent Algorithm이나 Normal equation을 사용.

 

 

선형 모델을 사용하겠다고 하는 순간, 모델의 형태가 주어지는 것입니다.

loss function 역시 MSE로 사용합니다.

 

그러므로 parameter optimization에 대해 자세히 알아봐야 합니다.