Activation function(활성화 함수)

Activation function, 활성화 함수

  - 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수

  - 딥러닝에서 입력받은 데이터를 다음층으로 출력할지 결정하는 역할을 한다.

 

 

 

활성화 함수를 사용하는 이유

  - 선형분류기의 한계

  - 왼쪽의 경우 선형 분류기로도 충분히 분류가능하지만, 오른쪽의 비선형적인 문제는 해결할 수 없다. 이에 대한 해결책이 바로 활성화 함수이다. 활성화 함수를 사용하면 입력값에 대한 출력값이 선형적으로 나오지 않으므로 선형분류기를 비선형적으로 만들 수 있다.

 

좌 : 선형함수, 우 : 비선형함수

 

 

 

활성화 함수의 종류

 

  - Step Function

 

  - Sigmoid Fuction

 

  - Hyperbolic Tangent Fuction

 

  - ReLU, Rectified Linear Unit