[핵심 머신러닝] SVM 모델 1 (Margin, Hard Margin Linear SVM)
이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다.
내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다.
해당 게시글 강의 영상: https://www.youtube.com/watch?v=qFg8cDnqYCI
[핵심 머신러닝] SVM 모델 1 (Margin, Hard Margin Linear SVM)
고차원 데이터 분류문제에 좋은 성류를 보임
2차원 방정식 문제로 프로그래밍 한다.
training data에 대해서 성능이 좋아야함
trade-off 가 있음
SVM 은 성능을 최대화 할 수 있고 탄탄하당 ^__^
기본적으로 분류 문제를 다룰 것이다.
그 중 2Class (이진)문제를 다루어보자..
이 둘을 나누는 것을 하이퍼 플레인이라고 한다.
우리의 목적 w와 b를 찾는 것
그럼 어떻게 찾을 것인가?
무한히 많은 것들 중 가장 좋은 하이퍼플레인을 찾아야함
트레이닝 데이터에 마진을 최대화하는 하이퍼 플레인 을 찾는다.
제너럴 에러를 최소화한다
-> 좋은모델을 찾을 수 있다.
Margin이 무엇인가
초록색 선과 보라색 선 사이의 거리가 마진임
+에 있는 점은 -에 있는 점을 w방향으로 평행이동 시키되, 이 정보를 람다라고 하자. 평행 관계가 있다는 것을 유념하고 넘어가자.
플러스에 있는 점은 마이너스에 있는 점에 대해 평행이동이다.
w를 찾는게 우리 목표이다..
벡터 노름이다
Wt는 W의 전치행렬임
마진은 + plane 과 -plane의 차이다..
목적식을 최소로 하는 w와 b를 찾는 것이 목표임
Lagrangian 라그랑지안
max는 신경 쓸 필요 없다.
초록색 min 식을 미분할 것이다.
미분 과정
2번째 식
이제 max min 문제에서 듀얼로 바뀐 것임
qp (quadratic programming)
이 목적식을 해결하는 알파가 있구낭
non-linear SVM 는 inner product 성능이 아주 좋습니다..
서포트 벡터는 마지노선이 지지선이다!
마진을 볼 때 사용하는 x들은 서포트벡터이다..
sparse representation: 많은 데이터를 이용하지 않고 적은 데이터를 이용하여 표현하는 방법
w와 b를 다 찾은 것은 모델을 찾은 것!
