공부정리/Deep learnig & Machine learning

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=Vh_7QttroGM&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=29 [핵심 머신러닝] 로지스틱회귀모델 2 (파라미터 추정, 해석) 로지스틱 회귀 모델 2 파라미터 추정 로지스틱 회귀 모델 결과 및 해석 로지스틱 회귀 모델 예제 지난 시간 REVIEW 다중 로지스틱 회귀모델 입력변수 X가 2개이상임 log(Odds) => 복잡한 로지스틱이 선형결합의 형태로 표현됨 파라미터 추정 로지스틱 회귀 모델 학습: 최대 우도 추정법 (Maximum Likelihood E..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=l_8XEj2_9rk&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=30 [핵심 머신러닝] 로지스틱회귀모델 1 (로지스틱함수, 승산) CONTENTS 로지스틱 회귀 모델 1 로지스틱 회귀 모델 배경 로지스틱 회귀 모델 형태 아드 (Odds) 로지스틱 회귀 모델 배경 이러한 관계를 보면 보통 선형회귀 모델을 사용했었다. 데이터의 핵심: 연속 값임 데이터의 형태에 따라서 연속형 변수, 범주형 변수 등이 있다. 범주형 데이터일 경우에는 선형회귀 모델과는 다른 방식으로 ..

Mahalnobis Distance 노란색: 공분산 행렬 변수들간에 모두 독립적이고 Variance(분산)가 1로 정규화된다면 그 때 공분산 행렬은 항등원 행렬이 되며 이 때 마할라노비스 거리는 유클리디안 거리와 같아집니다. 즉, 마할라노비스거리는 변수들간 독립적일 때는 유클리디안 거리공식으로 바뀝니다. * 주의할 점: 마할라노비스 거리를 구할 때, KNN을 이용한 알고리즘을 구현하는 경우에는 예측할 데이터셋을 포함하여 공분산을 구하고, 해당되는 변수간의 거리를 구해야합니다... 예측할 데이터셋을 포함하지않으면, 그 전에 분포하는 데이터들끼리의 분포만을 고려하게 되어 제대로된 마할라노비스 거리구현이 어렵습니다. 파이썬으로 변수간의 공분산을 구하는 방법 중 두가지를 소개해드리겠습니다. 1. 넘파이를 이용하..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상 : https://www.youtube.com/watch?v=W-DNu8nardo KNN은 모델이 없는 것 데이터가 어떤 것에 가까운지 분류하고 예측하는 것 1-nearest neighbor: 가장 가까운 데이터 1개의 이웃을 정의 3-nearest neighbor: 가장 가까운 데이터 3개의 이웃을 정의 새로운 데이터의 Y값을 알아내는 것이 문제임 가까운 순서대로 거리를 구하고, 새로운 예측 데이터에대해 수행한다. KNN 알고리즘의 구분 및 특징 Instance-based Learning 각각의 관측치만을 이용하여 새로운 데이터에 대한 예측 진행 Memo..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상 : https://www.youtube.com/watch?v=ClKeKeNz7RM&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=31 결정계수 (Coefficient of Determination : R^2) 위에서부터 첫번째 점은 실제 Y값 두번째 점은 우리가 구한 회귀 직선 위에 있는 Y값 세번째 점은 Y의 평균값 첫번째 점은 100% Y값을 설명 (자신) 두번째 점은 X로 Y를 어느 정도까지 설명할 수 있는지를 보여주는 값 세번째 점은 X에 관계없이 Y의 평균만으로 어느 정도까지 설명할 수 있는지를 보여주는 것 실제..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상 : https://www.youtube.com/watch?v=uqfWFIcIF6s&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=32 파라미터 추정 알고리즘 Least square estimator Estimator(추정량) : 샘플의 함수 추정량의 용도 : 알려지지 않은 파라미터(B0,B1)를 추정 추정량의 종류 (1) 점추정 (point estimator) , (2) 구간추정 (interval estimator) 파라미터에 대한 점추정 최소제곱법 추정량 성질 Gauss-Markov 이론에 의하면 최소제곱법에서 추정되는..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=FfUHRuUxQiY&t=4s [핵심 머신러닝] 수치예측, 범주예측 (분류) X (원인): 독립변수, 예측변수, 입력변수 Y (결과): 종속변수, 반응변수, 출력변수 예측 모델링: 관계를 잘 찾는 함수식을 찾는 것 연속형 데이터: 데이터 자체를 숫자로 표현 예) 가격, 길이, 압력, 두께 범주형 데이터: 원칙적으로 숫자로 표시할 수 없는 데이터 예) 제품 불량 여부 (양품/ 불량), 보험 사기 여부(정상/ 비정상) 수치 예측 데이터 (Regression) y값이 없는 x값의 데이터가 올 때, y값을..

학습 알고리즘 구현하기 -2층 신경망 클래스 구현하기 클래스의 이름은 TwoLayerNet이다. import sys, os sys.path.append(os.pardir) from common.functions import \* from common.gradient import numerical\_gradient class TwoLayerNet: def \_\_init\_\_(self, input\_size, hidden\_size, output\_size, weight\_init\_std=0.01): self.params = {} self.params\['W1'\] = weight\_init\_std \* np.random.randn(input\_size, hidden\_size) self.params..

○ 활성화 함수 활성화 함수는 이전 층(layer)의 결과값을 변환하여 다른 층의 뉴런으로 신호를 전달하는 역할을 한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 앞서 다루었던 비선형 문제를 해결하는데 중요한 역할을 한다. 비선형 문제를 해결하기 위해 단층 퍼셉트론을 쌓는 방법을 이용했는데 은닉층(hidden layer)를 무작정 쌓기만 한다고 해서 비선형 문제를 해결할 수 있는 것은 아니다. 활성 함수를 사용하면 입력값에 대한 출력값이 비선형(nonlinear)적으로 나오므로 선형분류기를 비선형분류기로 만들 수 있다. 신경망의 학습 절차 신경망에서는 활성화 함수로 비선형 함수만을 사용하게 되는데 선형 함수를 사용하면 신경망의 층을 깊게 쌓는 것에 의미가 없어지기 때문이다. 즉, 은닉..

기존에는 AND게이트나 규칙이 정해져있는 개념은 모두 파이썬 코드로 작성할 수 있다. 규칙이 있었기에 컴퓨터에 쉽게 입력을 할 수 있었다. 하지만, 사람마다 다른 글씨체가 다른 것 처럼 규칙이 정해져있지 않은 것은 어떻게 컴퓨터에 입력할까? 이러한 영역은 머신러닝이라고 부른다. 머신러닝에서는 데이터를 넣어서 학습을 하여 입력된 값이 어떤 수인지 확률을 통해 맞추어볼 수 있다. 머신러닝의 기초 MNIST를 통해서 학습과정은 생략하고 추론과정을 살펴볼 것이다. MNIST MNIST 데이터셋은 0부터 9까지의 손글씨 이미지로 구성 훈련 데이터가 6만장, 테스트 데이터가 1만장 각 데이터는 이미지와 라벨로 이루어짐 각 이미지는 28×28 해상도의 흑백 사진 각 픽셀은 0에서 255로 밝기 표현 MNIST 코드로..