보호되어 있는 글입니다.

1. Introdution to LSTM LSTM(장단기 메모리)는 RNN의 변형입니다. RNN 은 입력 Xt에 대해 여러 몇 가지 게이트가 있습니다. 끝으로 ht를 구할 수 있습니다. 펼치면 거대한 신경망 노드가 생깁니다. 은닉층이 다음 은닉층에 연결되는 방식으로 작동합니다. RNN 에는 기울기 소실 & 폭주 문제가 있었습니다. 단어를 예측할 때 굉장히 긴 시퀀스를 제공하면 기울기 소실 (Vanishing Gradient 문제가 발생합니다.) 긴 데이터 시퀀스가 학습을 방해하는 것입니다. 예를 들어 RNN에게 SKY에 대한 예측을 학습시킨다면, 이것은 작은 시퀀스로 RNN 은 잘 작동합니다. 하지만 RNN의 시퀀스가 커진다면 문제가 발생합니다. 이러한 문제를 해결하기위해 LSTM이 고안되었습니다. RN..

1. Introduction to RNNs 순환 싱경망(RNN)은 순차 데이터 용으로 잘 알려져 있습니다. 텍스트, 오디오, 비디오 및 모든 시계열 형식의 순차적 데이터를 다룰 때마다 RNN이 첫번째 선택이 될 것입니다. Sequential Modeling Sequential Modeling Understanding Recurrent Neural Networks (RNNs) RNN Wariants LSTM GRU Bi-directional sequence modelling Challenges in vanilla RNNs RNN 을 알려면 순차 모델링과 순차적 데이터를 아는 것이 중요합니다. 순차적 데이터란 특정 시퀀스에 있는 데이터에 대한 것을 이야햐기 합니다. Xt인 점이 있고 Xt+1 인 점을 생각하..

HTML 삽입 미리보기할 수 없는 소스

보호되어 있는 글입니다.

보호되어 있는 글입니다.

참고 서적 도서명: Deep Learning from Scratch (밑바닥부터 시작하는 딥러닝) 저자 : 사이토 고키 출판 : 한빛 미디어 chapter 1 신경망 복습 1.1 수학과 파이썬 복습 - ‘벡터𝑣𝑒𝑐𝑡𝑜𝑟’와 ‘행렬𝑚𝑎𝑡𝑟𝑖𝑥’ 벡터 : 크기와 방향을 가진 양. 숫자가 일렬로 늘어선 집합 => 1차원 배열으로 표현 가능 행렬 : 숫자가 2차원 형태(사각형 형상)로 늘어선 것\ - 행렬의 원소별𝑒𝑙𝑒𝑚𝑒𝑛𝑡−𝑤𝑖𝑠𝑒 연산 NumPy는 서로 대응하는 원소끼리 (각 원소가 독립적으로) 연산이 이루어지는 element-wise 연산을 지원한다. - 브로드 캐스트 넘파이의 다차원 배열에서는 형상이 다른 배열끼리도 연산을 지원한다. - 벡터의 내적과 행렬의 곱 x=(x1,…,xn), y=(y1,…,y..

배치 정규화 핵심 요약 배치 정규화 정의 인공 신경망의 각 층에 들어가는 입력을 평균과 분산으로 정규화하여 학습을 효율적으로 만듦 장점 학습 속도(training speed)를 빠르게 함 가중치 초기화(weight initialization)에 대한 민감도를 감소시킴 모델의 일반화(regularizaion)효과가 있음 배치 정규화 레이어 (BN Layer)을 추가하여 진행한다. 파라미터의 개수도 적어서 성능을 비약적으로 높일 수 있음 연구 배경: 입력 정규화 입력데이터가 표준 정규분포를 가질 수 있도록 정규화해줌 이미지 같은 경우에 이러한 표준화 방법을 자주 사용함 은닉층 정규화 감마와 베타에대한 학습을 진행함 배치 정규화를 하는 이유 딥러닝에서 층에서 층으로 이동될 때마다 이전 층들의 학습에 의해 가중..

보호되어 있는 글입니다.

활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현 Sigmoid 보통 어떤값이 나올 확률을 계산할 때 많이 사용된다. 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력한다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용된다. 한계점: 미분 함수의 최대 값이 0.5가 된다. 때문에 레이어가 깊어질 수록 gradient가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있다. 이후 ReLU에 의해 많이 대체된다. Sigmoid를 이용한 출력 값이 0 또는 1사이에 값으로 매우 작다. 딥러닝 모델은 뉴런의 잘못된 가중치 값을 고치기 위하여 역전파 알고리즘 사용한다. 하지만 Sigmoid를 사용하는 경우 역전파 알고리즘 값을 구하는 중 미분..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=8zB-_LrAraw [핵심 머신러닝] 군집분석 군집화 개념 유사한 속성들을 갖는 관측치들을 묶어 전체 데이터를 몇개의 군집(그룹)으로 나누는 것 동일한 군집에 소속된 관측치들은 서로 유사할 수록 좋음 상이한 군집에 소속된 관측치들은 서로 다를 수록 좋음 분류(Classification) VS 군집화(Clustering) 분류모델 : Y가 있다. (예측하려는 것이 목적) - 군집: Y 가 없다. (예측이 목적이 아님) - > decision boudary가 없음 적용사례 1. 고객 회사는 고객의 정..

이 게시글은 김성범 교수님의 유튜브 강의를 정리한 내용입니다. 내용과 사진의 각 출처는 김성범 교수님께 있음을 미리 알립니다. 해당 게시글 강의 영상: https://www.youtube.com/watch?v=GciPwN2cde4&list=PLpIPLT0Pf7IoTxTCi2MEQ94MZnHaxrP0j&index=10 Boosting 알고리즘 종류 Adaptive boosting (Adaboost) Gradient boosting machines (GBM) XGboost Light gradient boost machines (Light GBM) Catboost AdaBoost 각 단계에서 새로운 base learner를 학습하여 이전 단계의 base learner의 단점을 보완 Training error ..