[Courasera] Advanced Learning Algorithms - Activation Function : 머신러닝 특화과정

본 게시물은 Courasera Andrew Ng 교수님의 머신러닝 특화 과정

Supervised Machine Learning : Advanced Learning Algorithms 을

summary 한 것입니다.

---

로지스틱 회귀의 시그모이드 함수와 마찬가지로 레이어의 모든 노드에서 활성 함수를 사용한다. 그러나 어떤 경우에는 다른 활성 기능을 사용하여 신경망을 더 강력하게 만들 수 있다.

 

첫 번째는 선형 활성 함수, 두 번째는 로지스틱 회귀에 사용되는 시그모이드 함수, 세 번째는 ReLU이다. ReLU의 특징은 z가 0보다 작으면 0이고 z가 0보다 크면 z를 반환합니다. 활성함수를 사용하는 이유는 선형분류의 한계 때문이다. 활성 함수를 사용하면 출력 값이 선형이 아니므로 선형 분류를 비선형 시스템으로 만들 수 있다.

 

초기에는 sigmoid를 많이 사용했지만, ReLU가 등장한 이후로 거의 사용하지 않는다. 왜냐하면 ReLU와 시그모이드 함수를 비교해보면, ReLU함수의 계산 속도가 조금 더 빠르다. ReLU는 0과 z의 return만 계산하면 된다. 하지만 시그모이드는 지수화를 하고 그 다음에 역함수를 사용해야 하기 때문에 속도의 차이가 발생한다. 그리고 sigmoid는 flat한 부분이 2군데인 반면 ReLU는 한군데이다. 시그모이드를 사용한다면 경사하강법에서 평평한 부분이 많이 생길 수 있다. 이렇다면 경사하강법은 느릴 것이다. 따라서 relu를 사용한다.