[핵심 머신러닝] 뉴럴네트워크모델 2 (Backpropagation 알고리즘)

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다.

내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다.

해당 게시글 강의 영상: https://www.youtube.com/watch?v=8300noBbCRU&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=27 

---

[핵심 머신러닝 ] 뉴럴네트워크모델 2 (Backpropagation 알고리즘)

연속형일 때 실제 y값: t, 모델로 부터 나온 y 값: o

 

E: 비용함수 값, O: k번째 출력 노드 값

K번째 노드 -> 은닉노드들의 선형 결합을 시그모이드 함수로 합성하여 나타냄

 

계산 과정

** 우리는 w를 계속해서 경사하강법으로 w를 업데이트 할 것이다.

따라서 뒤에서 빼주면서 업데이트 하는 것을 알아야함

net(k)를 미분하면 어떻게 될까?

그러면 hj만 남는다..

 

다시한번 정리해보면

출력층과 은닉층 사이에 있는 웨이트 값으로 비교를 해주면

 

업데이트를 하기위해서 값을 대입하고, 미분해보자

 

은닉층과 입력층 사이

 

뉴럴네트워크 학습 알고리즘

1. 모듈을 임의로 준다. (작은 값으로 준다,)

첫번째 트레이닝 값이 들어왔을 때  히든 노드 값 h와 출력 값o를 할당

2. 업데이트 시작

3. 출력

파라미터를 추정하는 데 있어, 관측치를 하나하나 업데이트 하는 방식도 있고

어느정도 트레인 데이터가 들어오면 그것을 들어오고 업데이트를 하는 대치 러닝도 있음 (온라인 계열)

 

뉴럴 네트워크 예제 - 분류

 

은닉층 한개

모델로부터 나온 것

4개다 0.5에 근방에 있음

3000번을 돌려보니 조금씩 나아지는 것을 볼 수 있다.

 

확연히 크게 구별이 된 모습을 볼 수 있다.

 

뉴럴 네트워크 예제 - 수치예측

시그모이드 펑션을 잘 모사하고있다..

 

랜덤 노이드를 주긴 줬지만 잘 fit하고 있는 모습을 볼 수 있다.

 

실제데이터와 세가지 모델을 비교해본 것

선형회귀	다중 선형회귀	신경망으로 나온 예제