[Parameter] part 3 - 2

Learning rate scheduling

-> 모델 학습 시 유용한 팁

 

Hyper parameter alpha를 학습 과정에 따라서 조절합니다.

=> 이를 수렴 단계마다 단계적으로 적용합니다.

 

 

Model 과적합 문제

Model이 지나치게 복잡하여, 학습 Parameter의 숫자가 많아서 제한된 학습 샘플에 너무 과하게 학습이 되는 것입니다.

-> 입력 feature의 개수가 많아지게 된다면 더욱 parameter의 개수가 많아지게 되고,  그것은 curse of dimension problem에 의해서 data의 개수가 더 많아지게 된다고 하는 것입니다.

 

그러나, 실제 환경에서는 data를 충분히 늘릴 수 없기 때문에, model이 overfitting이 되는 문제가 발생합니다.

 

한편, Mean-Squared-Error의 경우 noise, outlier에 민감한 특성을 가지게 됩니다.

 

이러한 문제를 해결하기 위해서 Regularization이 있습니다.

 

Regularization

parameter 숫자에 따라 model 복잡도가 다르다고 해봅시다.

 

복잡한 model을 사용하더라도, 학습 과정에서 model의 복잡도에 대한 패널티를 줘서 model이 overfitting 되지 않도록 하는 방식입니다.

 

model은  θ값을 가능한한 사용하지 않도록 하여 주어진 Linear model에서  θ 값이 덜 중요하게 된다면 0으로 보내 버리는 것입니다.

 

그에 따라 parameter 개수를 줄임으로써 model의 복잡도를 줄일 수 있습니다.

 

따라서, model은 가급적 적은 숫자의 parameter들을 사용하면서, 주어진 문제에 sample들을 fitting하고자 할 것이며, 그에 대해서 overfitting의 문제를 피할 수가 있을 것입니다.