[Linear Classification] part 4 - 2

🧑🏻‍💻용어 정리

zero-one loss
hinge loss
cross-entropy loss

Linear Classification

 

 

hinge loss

Hinge Loss

 

Hinge Loss Formula

 

계산 값이 + 값이 된다면, max 값은 margin 값에 선형적으로 비례하여 증가합니다.

 

이 경우, loss 역시 증가합니다.

 

 

Cross-entropy loss

 

Cross-entropy loss

 

p와 q가 유사하다면 loss는 줄어들고, 서로 다르다면 loss는 올라갑니다.

 

 

지금까지는 계산한 모델의 score 값은 실수 값입니다.

 

그러나 방금 배운 Cross-entropy loss 값은 확률 값으로 이루어져 있습니다.

 

그렇다면 계산한 Score 값은 어떻게 이러한 확률 값으로 mapping 할 수가 있을까요?

 

 

우리가 fitting하고자 하는 Label은 1 or 0 인 값을 갖게 되는데, 우리의 score는 실수 값이기 때문에,

 

그 실수 값을 확률 함수를 통해서 mapping해야 된다고 생각할 수 있습니다.

 

 

이 mapping에 사용하는 함수가 바로,

Sigmoid

함수 입니다.

 

Sigmoid

 

이 함수의 개형을 살피어 real 값이 +로 굉장히 증가하게 된다면 확률 값 1에 근사하게 될 것이며, 

 

반대로 -로 커지게 된다면 확률 값 0에 근사하게 될 것입니다.

 

real이 0의 값을 가지게 되면 이 값은 1/2의 확률을 갖는 함수가 되겠습니다.

 

 

그러므로, 우리의 Score 실수 값을 0부터 1 사이의 값으로 mapping 할 수가 있게 됩니다.

 

이러한 형태를 우리가 logistic model이라고 이야기 합니다.

 

 

 

Linear classifier를 학습하는 데 있어, 어떻게 Gradient Descent Algorithm이 쓰일까?

 

1. weight 값 initialization

2. gradient 값 계산

즉, cross-entropy loss의, train loss의 미분 term이 됩니다.

3. weight update

4. 수렴할 때까지 진행