[핵심 머신러닝] SVM 모델 2 (Soft Margin SVM, Nonlinear SVM, Kernel)
이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다.
내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다.
해당 게시글 강의 영상: https://www.youtube.com/watch?v=ltjhyLkHMls&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=19
Linearly Nonseparable Case (soft Margin SVM)
선형으로 분리할 수 없는 경우
linear SVM -> hard margin svm
어떠한 식으로 해도 2차원 공간에서 파란색과 초록색을 트레인 에러가 0이되도록 만들 수 있는 직선이 없는 경우
-> 비선형
지난 시간 리뷰
마진을 최대화 시키는 하이퍼파라미터를 찾는 것이 목표였음
선형 SVM과 다른 점
정규화는 그 빨간 동그라미 (텀) 때문에 Training data가 linearly separable 하지 않아도 해가 존재한다.
C가 작다 -> 에러를 많이 포함함 -> 마진이 크다
베이지안 에러를 정답으로 보면 된다.
W와 b를 구해보자
마진을 최대화한다 -> 마진의 역수를 최소화한다.
허용 가능한 텀을 준다.
트레인 에러를 허용치를 줌으로서 0이 아닐 수도 있다는 제약을 준다.
목적식과 제약식이 라그랑지안을 통해 하나의 식으로 바뀌었음
미분을 해보자
편미분을 이용해서 문제를 푼다.
w는 우리가 궁극적으로 구하고자하는 hyper plane의 개수이다.
이렇게 대입하면 아래와 같은 전개를 얻을 수 있다.
라그랑지안 듀얼은 다음과 같다
소프트 마진: 선형으로 분류할 수 없는 SVM
하드마진고ㅏ 소프트 마진의 차이
저 둘의 차이는 알파의 범위만 차이난다는 것이다.
KKT contdition --> 1강에도 있음
네가지 조건이 있고, 조건을 이용해서 최종 답에대한 성질을 본다.
자 봅시다
알파가 0이면 C=r
플러스 플레인이나 마이너스 플레인 위에 x 가 있는 것이 서포트 벡터
서포트 벡터는 위에 있는 것임
저
Kernel Methods for Nonlinear Classificaion
여기서 여러가지 기호가 나오는데
퐈이가 있습니다..
퐈이는 x들의 함수라고 표현함 f(x)랑 똑같음
차원을 바꾸면 선형식으로 분류가 가능함
파이를 이용해서 트랜스폼시킴
고차원으로 transform 한다는 것에대한 설명
퐈이를 이용해서 변환을 했더니 다섯개의 변수로 늘어났다.
고차원으로 변경한다는 것은 굉장히 복잡한 무언가가 있다는 것일 수 있음
빨간색 네모: x의 내적
퐈이를 이용해서 고차원으로 바꿀 것
그러면 퐈이를 알아야함
퐈이의 형태를 알 필요 없이 어떤 형태가 구현된 함수 식이 있음
그것이 바로 뭐냐면 Kernel Function이다.
내적: element 끼리 곱한 것
Q. 별표로 표현한 형태를 모른 상태에서 세모를 구할 수 있느냐?
A. 답은 YES
동그라미를 구하는데 별표를 알지 못해도 구할 수 있음
implicit 하게 얻어지는 함수
퐈이의 형태를 몰라도 내적의 결과를 알 수 있는 것이 핵심임
따라서 커널 펑션이 이렇게 나옴
대표적인 네가지
보통은 시그모이드나 가우시안을 많이 쓴다.
간단한 예제임 폴리노미아 커널 펑션 사용
여기 이거 선형으로 구분 가능?
불가능함
비선형으로 해결해야함
커널 펑션을 이용한 SVM 모델 완성!
이 경우는 Raadial kenel을 사용한 것이 테스팅 에러가 적음
선형과 비선형 비교
보라색이 베이지안 에러임
비선형은 베이지안 에러와 비슷하게 근접한다고 볼 수 있으
