손실 함수(loss function) 란? 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미 손실함수는 정답(y)와 예측(^y)를 입력으로 받아 실숫값 점수를 만드는데, 이 점수가 높을수록 모델이 안좋은 것 손실함수의 함수값이 최소화 되도록 하는 가중치(weight)와 편향(bias)를 찾는 것이 목표 1. binary_crossentropy (이항 교차 엔트로피) y값이 (ex. 0,1) 인 이진 분류기를 훈련할 때 자주 사용되는 손실 함수 (multi-label classification) 활성화 함수 : sigmoid 사용 (출력값이 0과 1사이의 값) 수식 아래 함수에 예측값(Yi) 과 실제값(ti) 에 1을 대입하면, 수식은 0에 수렴하게 됨 아래 함수에 예측값(Yi =..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 모델 설계하기 '폐암 수술 환자의 생존율 예측하기'의 딥러닝 코드를 다시 한번 옮겨 보면 다음 코드와 같다. # 딥러닝을 구동하는 데 필요한 케라스 함수 호출 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # 필요한 라이브러리 불러옴 import numpy as np import tensorflow as tf # 실행할 때마다 같은 결과를 출력하기 위해 설정하는 부분 np.random.seed(3) tf.random.set_seed(3) # 준비된 수술 환자 데이터를 불러옴 Data_set = np.l..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 신경망에서 딥러닝으로 다층 퍼셉트론이 오차 역전파를 만나 신경망이 되었고, 신경망은 XOR 문제를 가볍게 해결하였다. 따라서 이제 신경망을 차곡차곡 쌓아올리면 마치 사람처럼 생각하고 판단하는 인공지능이 금방이라도 완성될 것처럼 보였지만, 기대만큼 결과가 좋지 않았다. 그 이유는 다음과 같다. (1) 기울기 소실 문제와 활성화 함수 오차 역전파는 출력층으로부터 하나씩 앞으로 되돌아가며 각 층의 가중치를 수정하는 방법이다. 가중치를 수정하려면 미분 값, 즉 기울기가 필요한데 층이 늘어나면서 역전파를 통해 전달되는 이 기울기의 값이 점점 작아져 맨 처음 층까지 전달되지 않는 기울기 소실(vanishing gradien..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 오차 역전파 신경망 내부의 가중치는 오차 역전파 방법을 사용해 수정한다. 오차 역전파는 경사 하강법의 확장 개념이다. 우리는 XOR 문제를 해결할 때 정답에 해당하는 가중치와 바이어스를 미리 알아본 후 이를 집어넣었다. 그렇다면 이 가중치와 바이어스를 실제 프로젝트에서는 어떻게 구할 수 있을까? 이 부분은 어려운 문제이기도 하고, 딥러닝으로 나아가는 가장 중요한 부분이기도 하다. 우리가 앞서 배운 경사 하강법은 임의의 가중치를 선언하고 결괏값을 이용해 오차를 구한 뒤 이 오차가 최소인 지점으로 계속해서 조금씩 이동시킨다. 이 오차가 최소가 되는 점(미분했을 때 기울기가 0이 되는 지점)을 찾으면 그것이 바로 우리..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 퍼셉트론 신경망을 이루는 가장 기본 단위 퍼셉트론 하나로 해결되지 않던 XOR 문제를 은닉층을 만들어 해결하였다. 인간의 뇌는 치밀하게 연결된 약 1,000억 개의 뉴런으로 이루어져 있다. 우리 몸 안에 있는 수많은 뉴런은 서로 긴밀히 연결되어 신경 말단에서부터 뇌에 이르기까지 곳곳에서 자신의 역할을 수행한다. 이처럼 복잡하고 어려운 조합의 결과가 바로 우리의 '생각'이다. 이러한 뉴런과 비슷한 매커니즘을 사용한다는 상상과 함께 출발한 연구가 바로 인공 신경망(Artificial Neural Network) 연구이다. 뉴런과 뉴런이 새로운 연결을 만들기도 하고 필요에 따라 위치를 바꾸는 것처럼, 여러 층의 퍼셉트..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 참 거짓 판단 장치 : 로지스틱 회귀(Logistic regression) 로지스틱 회귀는 참과 거짓 중에 하나를 내놓는 과정이다. 로지스틱 회귀는 선형 회귀와 마찬가지로 적절한 선을 그려가는 과정이다. 다만 직선이 아니라, 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어주는 작업이다. (1) 시그모이드 함수 그런데 위와 같은 S자 형태로 그래프가 그려지는 함수가 있는데, 바로 시그모이드 함수(sigmoid function)이다. 여기서도 구해야 하는 값은 선형 회귀 때와 마찬가지로 ax + b이다. 먼저 a는 그래프의 경사도를 결정한다. a 값이 커지면 경사가 커지고 a 값이 작아지면 경사가 작아진..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 경사 하강법(Gredient Descent) : 오차 수정하기 (오차가 가장 작은 방향으로) 미분 기울기를 이용하는 경사 하강법은 오차를 비교하여 가장 작은 방향으로 이동시키는 방법이다. 위와 같이 각 점에서의 순간 기울기가 그려지면 우리가 찾는 최솟값 m에서의 순간 기울기를 눈여겨 봐야 한다. 그래프가 이차 함수 포물선이므로 꼭짓점의 기울기는 x축과 평행한 선이 된다. 즉, 기울기가 0이다. 따라서 우리가 할 일은 '미분 값이 0인 지점'을 찾는 것이 된다. 이를 위해서 다음과 같은 과정을 거친다. a1에서 미분을 구한다. 구해진 기울기의 반대 방향(기울기가 +면 음의 방향, -면 양의 방향)으로 얼마간 이동시..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 가장 훌륭한 예측선 긋기 : 선형 회귀 (Linear Regression) 선형 회귀의 정의 "학생들의 중간고사 성적이 [ ]에 따라 다 다르다." 여기서 [ ]에 들어갈 내용을 '정보'라고 한다. 성적을 변하게 하는 '정보' 요소를 x라고 하고, 이 x 값에 따라 변하는 '성적'을 y라고 할 때, 'x 값이 변함에 따라 y 값도 변한다'는 이 정의 안에서, 독립적으로 변할 수 있는 값 x를 독립 변수라고 한다. 또한, 이 독립 변수에 따라 종속적으로 변하는 y를 종속 변수라고 한다. 선형 회귀란 독립 변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명하는 작업을 말한다. 하나의 x 값 만으로도 y 값을 설..

참고 서적 도서명: 모두의 딥러닝 저자 : 조태호 출판 : 길벗 발매 : 2020.01.27 딥러닝을 위한 기초 수학 꼭 알아야하는 토픽과 간단한 소개만 하고 넘어가겠습니다. 1. 일차 함수, 기울기와 y 절편 y = ax+b (a !=0)인 일차함수 식에서 x가 주어지고 원하는 y값이 있을 때, 적절한 a와 b 값을 찾는 것을 딥러닝의 과정으로 볼 수 있습니다. 2. 이차 함수와 최솟값 y = ax^2 (a != 0)은 포물선을 그리는 그래프로, 포물선의 최저점이 최솟값이 됩니다. 딥러닝을 실행할 때 이 최솟값을 찾아내는 것이 중요합니다. 이때 최솟값은 '최소 제곱법'으로 구할 수 있습니다. 3. 미분, 순간 변화율과 기울기 최소 제곱법을 사용하기에 충분한 조건이 없을 때 미분을 이용합니다. 이차 함수..