활성화 함수2 4번째 인공지능 - 기울기 소실 문제 기울기 소실 문제 ● 다층 퍼셉트론은 월드 클래스가 아닙니다 ● 지난번 다층 퍼셉트론 상의 역전파 과정에서 기울기가 맨 처음의 층까지 전달되지 않고 중간에 소실되어 버리는 '기울기 소실' 문제가 발생했다 말씀드렸습니다. ● 기울기가 사라지게 되면 오차의 책임을 바로 앞단의 레이어에 있는 노드들에게 전가시키기 어렵습니다. 역전파가 어렵게 되는 것이죠. ● 기울기 소실의 원인은 활성화 함수 중 하나에 있었습니다. 바로 약방의 감초처럼 그냥 묻지도 말고, 따지지도 말고 가져다 쓰던 시그모이드 함수 때문이었죠. ● 시그모이드(Sigmoid) 함수는 0과 11 사이의 값만 가질 수 있도록 하는 비선형 함수입니다. x값이 작거나 커질수록 기울기가 완만하게 0으로 수렴되가는 특징이 있습니다. 이러한 특징이 선형의 함.. 2022. 8. 16. 1번째 인공지능 - 신경망, 은닉층, 딥러닝 모델 신경망, 은닉층, 딥러닝 모델 ● 신경망에서 활성화 함수가 없다면 입력과 가중치의 곱셈 값을 모두 더하는 계산만 있어 선형 변환만 가능합니다. ● 은닉층이 아무리 깊고 복잡해도, 활성화 함수가 없으면 결국 곱셈과 덧셈의 향연이 되므로 하나의 선형 연산이 될 뿐입니다. ● 세부적으로 디테일하게 분류하기 위해서는 반드시 레이어 사이사이에 들어가 있는 활성화 함수를 거쳐 비선형(그림에서는 곡선)으로 바꿔야 합니다. ● 활성화 함수를 사용하면 입력값에 대한 출력 값이 linearlinear 하게 나오지 않으므로 선형 분류기를 비선형 분류기로 전환시킬 수 있습니다. ● 아하, 딥러닝 모델은 단지 linear layer를 여러 개 쌓는 개념이 아니라 활성화 함수를 이용해서 non-linear layer를 여러 개 .. 2022. 8. 16. 이전 1 다음
