[Foundation of Supervised Learning] part 1 - 2

🎯 Keyword 🎯

- Generalization
- training error
- validation error
- test error
- Curse of dimension
- Regularization
- Ensemble
- cross-validation

 

Machine Learning은 그 자체로 Data의 결핍으로 인한 불확실성을 포함하고 있습니다.

 

모든 Data 살필 수 없기 때문이죠.

 

그래서 우리에게 중요한 것은

 

Generalization입니다.

 

모델이 일반화된 성능을 측정하기 위한 measurement로써 Generalization error E 를 정의해야 합니다.

 

Supervised Learning에 있어 다음과 같은 Error를 통해 를 Generalization error E 최소화 합니다.

• training error
• validation error
• test error

 

• Squared error e
• binary error e

 

이러한 Error 들을 계산하여 우리는 

 

loss function or cost function 이라고 부릅니다.

 

 

Training Error E

=> model을 주어진 data set에 맞추어 학습하는데 사용하는 error.

-> 즉, 주어진 Sample에서 model parameter를 최적화 하도록 사용합니다.

-> 따라서 Generalization error E를 approximation하는데 적합하지 않습니다.

 

 

Test Error E

=> Training Sample과 Overlap 되지 않도록 data set에서 일부 Sample를 일부 떼어서 Test sample을 정의.

-> Real world에서의 error를 표현하는 것.

 

 

목적 : Test Error E가 0으로 근사할 수 있도록 하는 것.

 

How to achieve the goal in practice ?

1. Test Error E가 Train Error E에 근사하도록 하는 것.
2. Train Error E가 0에 근사하도록 하는 것.

• Test Error E가 Train Error E에 근사하도록 하는 것.
  • 실패 시 Overfitting -> high variance
    • 해결 방안 : reqularization, more data
• Traing Error E가 0에 근사하도록 하는 것,
  • 실패 시 Underfitting -> high bias
    • 해결 방안 :  optimization, more complex model

 

 

Bias - Variance trade-off 관계

-> 이 두 가지의 요소를 적절히 generalization해서 모델의 복잡도를 구성하는 것이  중요합니다.

 

 

현 시점
-> CV, NLP 등 복잡도 증가 속도는 빨라지지만 Data set 샘플 수가 그것을 따라가지 못 합니다.
이 것에서 Overfitting 문제가 발생할 수 있습니다.

 

Avoid overfitting

-> Curse of dimension (차원의 저주 문제)

 

=> 만약, 입력 Data 또는 입력 feature의 차원이 증가한다면 지수적으로 샘플의 숫자가 늘어나야 하지만 그렇게 하기 어렵습니다. 

-> data를 늘리면 된다 ! => 현실적으로 어려움

 

-> Data augmentation 해결 방안

- Regularization

- Ensemble

 

 

K-fold cross-validation

-> training set를 k개의 Group으로 구분합니다.

->  K - 1개의 group을 training, 1개를 validation으로 이용합니다.

=> validation은 모델의 최적화를 위함입니다.

=> 모델의 일반화에 도움을 줍니다.

 

=> 그리고 모델의 최종 성능은 Test Data Set를 이용해서 측정하게 됩니다.