[핵심 머신러닝]뉴럴네트워크모델 1 (구조, 비용함수, 경사하강법)

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다.

내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다.

해당 게시글 강의 영상: https://www.youtube.com/watch?v=YIgLpsJ-1J4&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=28 

---

[핵심 머신러닝 ]뉴럴네트워크모델 1 (구조, 비용함수, 경사하강법)

로지스틱회귀는 계수가 들어오면 선형 결합을 통해 비선형으로 변환된다.

 

퍼셉트론

 

로지스틱회귀와 비슷한데 훨신 더 간단한 모델입니다.
입력 값에 선형 결합을 구하고, 그 값이 0보다 큰지 아닌지를 분류함

 

실제 입력값이 들어오면 0보다 큰지 작은지를 본다.

단층 퍼셉트론으로는 모든 문제를 풀 수 없다.

 

 

	OR 게이트 둘 중 하나만 1이면 출력 값은 1 둘 다 0이면 출력값은 0
	AND 게이트 둘 다 1이면 출력값은 1 둘 중 하나만 1이면 출력값은 0
	XOR 게이트 x1변수와 x2변수 값이 같으면 0 다르면 1

즉 XOR게이트는 분리가 불가능하다...

어떠한 직선을 그려도 분리할 수가 없다

그래서 나온 개념이 2중 퍼셉트론이다.

 

2중 퍼셉트론

중간데 층을 하나 더 줘서 함

 

시그마: 선형결합

시그마 선형결합 값을 시그모이드 함수에 넣어준다.

 

입력 변수들의 선형결합을 시그모이드함수를 통해 비선형으로 나타낸다.

 

따라서 h3가 세개가 됨

-> 로지스틱 회귀모델과 비슷해진다.

로지스틱 회귀를 한번 더 수행한 모양인 셈!

 

2중퍼셉트론 부터는 뉴럴네트워크 모델이라고 부른다.

 

다층 퍼셉트론

 

은닉층이 하나 이상이면 다층 퍼셉트론이라고 부른다.

입력층에는 입력변수의 값이 들어온다.

 

출력층은 범주형일 경우 출력 노드의 개수는 출력범주의 개수와 같다.

(즉, 범주가 3개면 출력노드도 세개가 될 것임

 

은닉층의 은닉 노드는 여러개가 될 수 있음

이런 것을 인공신경망 즉, 뉴럴 네트워크 모델이라고 한다.

 

로지스틱 모델을 한번 더 -> 뉴럴 네트워크 모델

 

Z는 거기에 해당하는 W(weight) 값이 된다.

 

선형회귀와 로지스틱 모델은 파라미터 갯수가 같지만 

굉장히 많아진다..

 

뉴럴 네트워크 파라미터

모델의 형태가 결정되면 그 안에있는 파라미터를 잘 추정하면 모델을 완성할 수 있다.

파라미터 ->층과 노드를 연결하는 가중치: ,  알고리즘으로 결정

하이퍼파라미터 -> 은닉층 개수, 은닉 노드 개수, activation Function -> 사용자가 임의 로 설정

 

비선형 변환할 때 쓰는 함수: 활성화 함수

활성화함수

 

시그모이드나 하이퍼볼릭 탄젠트가 느린 감이 있어서 나머지 렐루, 엘루 함수들이 나타났다.

 

하이퍼볼릭탄젠트 함수

 

 

.

 

 

경사하강법

경사하강: 비용함수를 최소로 하게 만드는 w값을 찾는다.

비용함수가 최소 -> 오차가 최소

 

 

현재 웨이트값을 타우라고 하자,

다음 웨이트 값은 어떻게 구하는가?

알파 값이 크면 빠르게 내려갈 것,,,

섬세하고 촘촘하진 않으니 장단점이 있을 것이다.

알파는 사용자가 선택하는 하이퍼파라미터(learning rate)

 

w에 대해서 미분을 하면 삼차식이나옴

w값이 점점 줄어듬...