[핵심 머신러닝] SVM 모델 1 (Margin, Hard Margin Linear SVM)

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다.

내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다.

해당 게시글 강의 영상: https://www.youtube.com/watch?v=qFg8cDnqYCI 

---

[핵심 머신러닝] SVM 모델 1 (Margin, Hard Margin Linear SVM)

고차원 데이터 분류문제에 좋은 성류를 보임

2차원 방정식 문제로 프로그래밍 한다.

training data에 대해서 성능이 좋아야함

trade-off 가 있음

 

SVM 은 성능을 최대화 할 수 있고 탄탄하당 ^__^

 

기본적으로 분류 문제를 다룰 것이다.

그 중 2Class (이진)문제를 다루어보자..

 

이 둘을 나누는 것을 하이퍼 플레인이라고 한다.

 

우리의 목적 w와 b를 찾는 것

 

그럼 어떻게 찾을 것인가?

 

무한히 많은 것들 중 가장 좋은 하이퍼플레인을 찾아야함

 

트레이닝 데이터에 마진을 최대화하는 하이퍼 플레인 을 찾는다.

제너럴 에러를 최소화한다

 

-> 좋은모델을 찾을 수 있다.

Margin이 무엇인가

초록색 선과 보라색 선 사이의 거리가 마진임

+에 있는 점은 -에 있는 점을 w방향으로 평행이동 시키되, 이 정보를 람다라고 하자. 평행 관계가 있다는 것을 유념하고 넘어가자.

 

플러스에 있는 점은 마이너스에 있는 점에 대해 평행이동이다.

 

 

w를 찾는게 우리 목표이다..

 

벡터 노름이다

 

Wt는 W의 전치행렬임

 

마진은 + plane 과 -plane의 차이다..

 

목적식을 최소로 하는 w와 b를 찾는 것이 목표임

Lagrangian 라그랑지안

 

max는 신경 쓸 필요 없다.

초록색 min 식을 미분할 것이다.

미분 과정

2번째 식

이제 max min 문제에서 듀얼로 바뀐 것임

 

qp (quadratic programming) 

 

이 목적식을 해결하는 알파가 있구낭

 

non-linear SVM 는 inner product 성능이 아주 좋습니다..

 

서포트 벡터는 마지노선이 지지선이다!

 

3

마진을 볼 때 사용하는 x들은 서포트벡터이다..

 

sparse representation: 많은 데이터를 이용하지 않고 적은 데이터를 이용하여 표현하는 방법

 

 

 

 

w와 b를 다 찾은 것은 모델을 찾은 것!