[Parameter] part 3 - 2
Learning rate scheduling -> 모델 학습 시 유용한 팁 Hyper parameter alpha를 학습 과정에 따라서 조절합니다. => 이를 수렴 단계마다 단계적으로 적용합니다. Model 과적합 문제 Model이 지나치게 복잡하여, 학습 Parameter의 숫자가 많아서 제한된 학습 샘플에 너무 과하게 학습이 되는 것입니다. -> 입력 feature의 개수가 많아지게 된다면 더욱 parameter의 개수가 많아지게 되고, 그것은 curse of dimension problem에 의해서 data의 개수가 더 많아지게 된다고 하는 것입니다. 그러나, 실제 환경에서는 data를 충분히 늘릴 수 없기 때문에, model이 overfitting이 되는 문제가 발생합니다. 한편, Mean-Squ..