[Data Science from Scratch] ch.7, 8 additional note - Gradient Descent without FrameWork!

 

참고 서적

도서명: Data Science from Scratch (밑바닥부터 시작하는 데이터 과학) 저자 : Joel Grus 출판 : 프로그래밍 인사이트

---

Ch 8. Gredient Decente - Linear Regression

직접 경사하강법 구현해보기

 

본 코드는 프레임워크(Scikit-Learn, Tensorflow...etc) 없이 구현한 코드입니다.

 

구현 순서

1. sample data 수집
2. data 정제하기 (회귀, 분류 등 문제 확인)
3. 하이퍼파라미터 설정
4. Optimizer & Loss Function Select
5. Evaluation 
6. Visualizing

 

해당 코드는 Sample Data를 수집하지 않고, 임의의 데이터를 사용한 것입니다.

1. Sample Data 수집

2. 데이터 정제 (SKIP)

임의의 데이터를 사용하였으므로 해당 단계는 건너뛴 것이라고 봐도 무방합니다.

3. 하이퍼파라미터 설정

4. Optimizer & Loss Function Select

 

5. Evaluation 

6. Visualizing

epoch=10000, 기울기(weight) =7.3000, 절편(bias) =31.5000

 

Colclusion

- 에폭값이 커질 수록 비용함수의 값이 특정한 값에 수렴한다는 것을 알 수 있습니다.

- 평가지표에 사용할 함수를 고르고 해당 함수를 미분하여 경사하강법에 구현해서 파라미터(W1,W0)을 업데이트 합니다.