2-1. Linear Regression(선형회귀)
이 포스팅은 김성훈 교수님의 강의(모두를 위한 딥러닝)를 수강하며 공부한 내용을 정리한 것입니다.
섹션2. Linear Regression(선형회귀)의 개념
Predicting exam score: regression
어떠한 학생이 공부한 시간 만큼 어떠한 성적(0~100)이 나온다는 데이터로 Supervised learning을 시킨다고 하자.
Regression이란 모델이 Training data를 가지고 Regression model이 학습을 하게 되었을 때, 7시간 공부한 학생에 대한 점수를 요청하면, 그에 대한 y값을 준다는 맥락이다.
예시를 정형화하여 설명해보자.
(Linear) Hypothesis
regression 모델을 학습한다는 것은 가설을 세울 필요가 있다.
어떤 Linear한 Model이 우리가 가지고 있는 데이터에 맞을 것이다
와 같은 것이 Linear Regression이라고 한다. 이것은 굉장히 효과적인데, 세상에 있는 많은 데이터와 현상들이 이처럼 Linear한 것으로 드러나거나 설명될 수 있는 것이 많기 때문이다.
H(x)는 우리가 세운 가설이고, 각 직선들은 W와 b에 의해서 결정된다.
이처럼 우리는 우리의 데이터가 이차원 평면에서 일차방정식 H(x) = Wx + b 형태를 따르는 직선이 될 것이라는 가설을 세웠다고 한다.
어떠한 선이 가장 잘 맞는가?
어떤 W와 b값이 더 좋은지를 알아낼 수 있어야 한다.
가장 기본적으로는 어떤 가설이 좋은가를 알려면 실제 데이터와 가설이 나타내는 선 사이의 거리를 측정, 비교하여 거리가 멀면 나쁜 것, 가까우면 좋은 것이라 할 수 있다.
이를 Linear Regression에서는 Cost function이라고 한다.
Cost(or Loss) function
실제 데이터의 값과 선형식의 값의 차이를 최소한으로 줄이면 최적의 선형식을 찾을 수 있을 것이다.
우리가 세운 가설과 실제 데이터가 얼마나 차이를 보이는가를 나타내는 함수.
H(x) - y 로 생각할 수 있지만, +가 될수도, -가 될 수도 있기 때문에
보통 Distance를 계산할 때에는 (H(x) - y)^2와 같은 형태로 작성하여 차이를 일정하게 양수로 표현해주고 제곱을 통해 큰 차이는 큰 패널티를 부여하는 중요한 값을 나타내게 된다.
여기서, 우리의 가설인 H(x) = Wx + b와 같이 주어진다고 했으므로 이를 cost function에 직접적으로 대입하게 되면 아래와 같이 W와 b의 함수로 만들 수 있다.
가장 작은 값을 가지는 W와b를 가지도록 하는 것
