[Advanced Classification] part 5 - 1

🧑🏻‍💻용어 정리

SVM
Hard Margin SVM
Soft Margin SVM
Nonlinear transform & kernel trick

Advanced Classification

 

hyper plane을 중간에 긋는데 많은 선택의 문제가 발생합니다.

 

여러 가지 hyper plane

위 사진과 같이 여러 개의 hyper plane들 중에서는 sample data에는 적합하지만, new test data가 들어왔을 때, 적합하지 않을 수 있습니다.

 

positive sample과 negative sample 사이에서 어디에 hyper plane을 그어야 가장 적합할지를 알아야합니다.

 

이것이 model 수립에서 중요한 요점입니다.

 

이러한 문제들을 해결하기 위해서, 

SVM(Support Vector Machine)

이 필요합니다.

 

SVM에서는 margin이라고 하는 것을 정의합니다.

 

위 그림에서 주어진 여러 hyper plane 중에서 어떤 것을 선택할지,

 

positive sample을 지나는 선과 negative sample을 지나는 선 중에서 둘 사이 서로 간의 위치가 동일한 hyper plane이 이 둘, positive sample과 negative sample 사이에 최대 margin을 확보할 수 있는 최적화 방식이 되게 될 것입니다.

 

Support vector machine에서는 이러한 개념을 설명하기 위해서

Support vector

라고 하는 것을 정의하게 됩니다.

 

positive sample과 hyper plane 사이에 있는 것들 중에서 가장 가까운 sample들을 의미하게 됩니다.
가장 가까운 margin을 갖는 vector입니다. 성능을 가장 좌지우지 할 수 있는 민감한 data point 입니다.

따라서, 우리가 해야할 것은,

이러한 Supoort vector들 끼리의 거리를 가장 최대화하는 Maximum margin을 설정하는 것이 우리의 최적화 전략이 될 것입니다.

 

outlier들에 대해서도 안정적이게 하는 최적화 방식이 됩니다.

 

💡 어떻게 margin을 계산할 수 있을까요?

 

• 가운데에 있는 hyper plane은 h(x) == 0인 hyper plane입니다.
• hyper plane에서 가장 가까운 support vector 간 거리는 한 vector의 길이의 두 배라고 할 수 있습니다.
• model parameter W는 hyper plane의 normal한 방향으로 설정이 되어 있습니다.

 

margin distance

 

margin, 즉 hyper plane으로부터, 떨어져 있는 support vector 간 거리를 최소화하기 위해서는 SVM에서 다양한 최적화 방식을 이용합니다.

 

 

Optimization

- Hard Margin SVM

     -> hyper plane이 있고, support vector를 잇는 선 끼리 사이의 영역에 대해서는 어떠한 sample도 있지 않는 것을 의마합니다.

 

- Soft Margin SVM

     -> 어느정도의 error를 용인하는 기법

 

- Nonlinear transform & kernel trick

     -> linear한 경우에만 사용할 수 있는 것을 극복하기 위해 사용합니다.

     -> 2차원의 sample들을 보다 더 높은 고차원 sample 들로 mapping하는 함수들을 이용합니다.