[Advanced Classification] part 5 - 2

🧑🏻‍💻용어 정리

Hard Margin SVM
Sample Constraints
SVM Primal problem

 

Hard Margin SVM

 

support vector 값들에 의해서 hypothesis h(x) 가 어떻게 결정이 되는지에 대해서 봅시다.

 

위 식을 참고하여 아래 설명을 보자.

 

h(x) = W^T x + b >= 1 for y = 1

 

h(x) = W^T x + b >= -1 for y = -1

에서 보면, 

y ( W^T x + b ) >= 1 for all samples인 것을 알 수 있다.

 

 

💡 이와 같은 것을 SVM에서의 Sample Constraints라고 하게 됩니다.

 

출처 :   https://www.saedsayad.com/support_vector_machine.htm

 

 

결국, margin을 maximization하기 위해서는 ||W||의 값을 minimization하는 것과 같은 것입니다.

 

바로 minimization하는 것은 계산 상 어려움을 겪으므로, ||W||^2을 minimization하는 문제와 동일합니다.

 

이러한 문제를

SVM Primal problem

이라고 합니다.

 

하나의 최적화 문제를 만든 것입니다.

 

결국,

 

y ( W^T x + b ) >= 1 for all samples와 같은 constrained를 가집니다. constrained optimization

 

 

 

만약 data sample 들이 서로 간의 linearly separable하지 않다면, 앞서 설정한 hyper plane으로 Sample들을 구분할 수 없습니다.

 

 

이때 사용하는 것이,

 

Kernel 함수

 

입니다.

 

 

-> linearly separable 하지 않은 data sample들이 있다고 할 때, linearly separable하게 만드는 과정입니다.

 

출처: https://medium.com/@zxr.nju/what-is-the-kernel-trick-why-is-it-important-98a98db0961d

 

이때, decision surface가 2차원 hyper plane으로 구성 되어서 구분합니다.

 

 

- polynomial kernel

- Gausiian radial basis function(RBF)

- Hyperbolic tangent (multilayer perceptron kernel)

 

유저가 직접 선택하여 서로 다른 형태로 mapping 가능하다.