
[딥러닝] 활성화 함수 요약 정리
·
공부정리/Deep learnig & Machine learning
활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현 Sigmoid 보통 어떤값이 나올 확률을 계산할 때 많이 사용된다. 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력한다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용된다. 한계점: 미분 함수의 최대 값이 0.5가 된다. 때문에 레이어가 깊어질 수록 gradient가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있다. 이후 ReLU에 의해 많이 대체된다. Sigmoid를 이용한 출력 값이 0 또는 1사이에 값으로 매우 작다. 딥러닝 모델은 뉴런의 잘못된 가중치 값을 고치기 위하여 역전파 알고리즘 사용한다. 하지만 Sigmoid를 사용하는 경우 역전파 알고리즘 값을 구하는 중 미분..