이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=8300noBbCRU&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=27 [핵심 머신러닝 ] 뉴럴네트워크모델 2 (Backpropagation 알고리즘) 연속형일 때 실제 y값: t, 모델로 부터 나온 y 값: o K번째 노드 -> 은닉노드들의 선형 결합을 시그모이드 함수로 합성하여 나타냄 계산 과정 ** 우리는 w를 계속해서 경사하강법으로 w를 업데이트 할 것이다. 따라서 뒤에서 빼주면서 업데이트 하는 것을 알아야함 net(k)를 미분하면 어떻게 될까? 그러면 ..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=YIgLpsJ-1J4&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=28 [핵심 머신러닝 ]뉴럴네트워크모델 1 (구조, 비용함수, 경사하강법) 로지스틱회귀는 계수가 들어오면 선형 결합을 통해 비선형으로 변환된다. 퍼셉트론 로지스틱회귀와 비슷한데 훨신 더 간단한 모델입니다. 입력 값에 선형 결합을 구하고, 그 값이 0보다 큰지 아닌지를 분류함 실제 입력값이 들어오면 0보다 큰지 작은지를 본다. 단층 퍼셉트론으로는 모든 문제를 풀 수 없다. OR 게이트 둘 중 하나만..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=lIT5-piVtRw&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=21 [핵심 머신러닝] 랜덤포레스트 모델 지난시간 의사결정나무에 대해서 살펴보면서 개별트리에는 단점이 존재한다는 사실을 알았다. 랜덤 포레스트 배경 - 앙상블 여러 base 모델들의 예측을 다수결 법칙 또는 평균을 이용해 통합하여 예측 정확성을 향상시키는 방법 다음 조건을 만족할 때 앙상블 모델은 Base 모델보다 우수한 성능을 보여준다. Base 모델들이 서로 독립적 Base 모델들이 무작위 예..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=2Rd4AqmLjfU&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=22 [핵심 머신러닝 ] 의사결정나무모델 2 (분류나무, Information Gain) y는 범주형으로, 비슷한 범주를 가진 것 끼리 묶는 것이 목표 하나의 큰 박스가 점점 나뉘어지는 모습을 볼 수 있다. 분류나무 모델 분류: y가 어떤 연속형 값을 가진 것이 아닌, 범주형 값을 갖고있을 때 조금 더 나누어보자 처음보다는 초록색과 빨간색이 꽤 균일하게 나누어진 것을 알 수있다. 그렇다면 새로운 ..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=xki7zQDf74I&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=23 [핵심 머신러닝] 의사결정나무모델 1 (모델개요, 예측나무) 의사결정나무 모델 데이터에 내재되어 있는 패턴을 변수의 조합으로 나타내는 예측/ 분류 모델을 나무의 형태로 만드는 것 질문을 던져서 맞고 틀리는 것에 따라 우리가 생각하고 있는 대상을 좁혀나감 (point idea) "스무고개"놀이와 비슷한 개념 한사람이 어떤 물건을 생각하면 사람들이 20번 안에 여러가지 질문을 통해서 해당 물건을..

Feature Selection Feature Selection은 ML에 있어서 매우 중요한 기술입니다. Feature Selection의 기본적인 아이디어는, 모델링 시 raw data의 모든 feature를 사용하는 것은 computing power와 memory 측면에서 매우 비효율적이기 때문에, 일부 필요한 feature만 선택해서 사용하자는 것입니다. 어떻게 보면, Feature Selection은 여러분의 모델 성능을 높이기 위해서 반드시 필요한 기술 중 하나입니다. Feature Selection은 Feature Engineering, Feature Extraction과 유사하지만, 표현 자체는 구분되며, 간단하게 정리하면 아래와 같습니다. Feature Engineering : 도메인 지식..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=sGTWFCq5OKM [핵심 머신러닝] 정규화모델 2 - LASSO, Elastic Net 슈잉키지: 값을 줄이면서 작아지는것 자동으로 선택 릿지와 비슷한데 제약식에 절댓값을 둔것 여기서는 t를 작게하면 =>람다를 크게하는 것 =>제약을 많이 가한다. t를 크게하면 =>람다를 작게하는 것 =>제약을 적게 가한다. 불연속임.. 마름모 밖에 있는 것은 답이 아니다 MSE값을 크게 늘려보자. (최소제곱법에있는 unbias를 포기) 베타1 = 0 해당 변수에 해당하는 계수가 0이다. 그 변수가 y를 예측하..

라그랑즈 승주법에 대해 간단하게 설명해보겠습니다. 라그랑즈 승주법 최적화 문제에서 사용되는 수학적 기법 최대 또는 최솟값을 찾으려는 문제에서 해결방법으로 사용된다. 라그랑즈 승주법을 사용하는 방법 목적 함수 제약 조건 제약 조건에 대해 새로운 변수 를 이용하여 다음의 보조 방정식을 만든다. 목적 함수와 제약 조건에 대해 위와 같은 보조 방정식을 만들고 문제를 풀 수 있게 되는 이유는 제약 조건을 만족시키면서 목적 함수를 최대화 또는 최소화 시키는 점에서는 목적함수의 gradient(쉽게 말해 기울기)와 제약 조건의 gradient가 평행하기 때문이다. 라는 제약조건을 만족시키면서 가 커질 수 있는 최대값은? 물론 d1일 것임 (제약조건을 지나는 값이 d1밖에 없으므로) 그런데 이 값을 유심히 관찰하면 와..

1. 서포트 벡터 머신(Support Vector Machine) 서포트 벡터 머신은 분류, 회귀에 모두 사용할 수 있는 매우 강력한 모델로서, 특히 복잡한 분류 문제, 작거나 중간 크기의 데이터셋에 적합하다. 1,2,3번 중 어느 직선이 가장 두 집단을 잘 분류했다고 할 수 있을까? 그리고 잘 분류했다는것은 어떤 의미일까? 여기서 서포트 벡터 머신의 개념이 나온다. 서포트 벡터 머신은 여러 집단들을 가장 잘 구분할 수 있는 최적의 선을 찾는것이 목표이다. 오른쪽 그림의 3개의 직선 중에서는 1번 직선이 두 집단을 가장 잘 분류한 최적의 직선이라고 할 수 있다. 2. 서포트 벡터 머신(Support Vector Machine)에서의 최적의 직선 그렇다면 왜 1번 직선이 최적의 직선이라고 할 수 있을까? ..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=pJCcGK5omhE [핵심 머신러닝] 정규화모델 1(Regularization 개념, Ridge Regression) 좋은 모델이란? 현재 데이터(training data)를 잘 설명하는 모델 Explanatory modeling 미래 데이터(testing data)에 대한 예측 성능이 좋은 모델 Predictive modeling 현재 데이터(training data)를 잘 설명하는 모델 = traing error를 minimize 하는 모델 MSE(traning) = (Y-Y^)^2 기본적인 ..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=ltjhyLkHMls&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=19 Linearly Nonseparable Case (soft Margin SVM) 선형으로 분리할 수 없는 경우 linear SVM -> hard margin svm 어떠한 식으로 해도 2차원 공간에서 파란색과 초록색을 트레인 에러가 0이되도록 만들 수 있는 직선이 없는 경우 -> 비선형 지난 시간 리뷰 마진을 최대화 시키는 하이퍼파라미터를 찾는 것이 목표였음 선형 SVM과 다른 점 정규화는 ..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=qFg8cDnqYCI [핵심 머신러닝] SVM 모델 1 (Margin, Hard Margin Linear SVM) 고차원 데이터 분류문제에 좋은 성류를 보임 2차원 방정식 문제로 프로그래밍 한다. training data에 대해서 성능이 좋아야함 trade-off 가 있음 SVM 은 성능을 최대화 할 수 있고 탄탄하당 ^__^ 기본적으로 분류 문제를 다룰 것이다. 그 중 2Class (이진)문제를 다루어보자.. 이 둘을 나누는 것을 하이퍼 플레인이라고 한다. 우리의 목적 w와 b를 찾는 것 그럼 어..