시그모이드 함수 미분 (+ 분수 함수 미분을 이용)

고등학생 때 분수 함수 미분을 배웠다면,

시그모이드 함수 미분도 쉽게 할 수 있을 거라 생각한다. 

 

다음은 분수 함수 미분 공식을 나타낸 것인데,

 

$(\frac{f}{g})^{'} = \frac{f^{'}g-fg^{'}}{g^{2}}$

 

여기서 f(x) = $\frac{1}{1+e^{-x}}$ , g(x) = 1 이라고 가정하면,

 

시그모이드 미분과 똑같아진다.

 

$(\frac{1}{1+e^{-x}})^{'} = \frac{(1+e^{-x})(1)^{'}-(1+e^{-x})^{'}(1)}{(1+e^{-x})^{2}}$

 

$(\frac{1}{1+e^{-x}})^{'} = \frac{(1+e^{-x})(0)-(-e^{-x})(1)}{(1+e^{-x})^{2}}$

 

$(\frac{1}{1+e^{-x}})^{'} = \frac{-(-e^{-x})}{(1+e^{-x})^{2}}$

 

$(\frac{1}{1+e^{-x}})^{'} = \frac{e^{-x}}{(1+e^{-x})^{2}}$

 

이를 조금만 정리해주면, 

 

$(\frac{1}{1+e^{-x}})^{'} = \frac{1}{(1+e^{-x})}- \frac{1}{(1+e^{-x})^{2}}$ 로, 

 

sigmoid(x) = $\frac{1}{1+e^{-x}}$ 라는 걸 생각해보면,

 

sigmoid(x)(1-sigmoid(x)) 꼴이 나온다는 걸 알 수 있다.

 

외우기 귀찮다면 이렇게라도 알아두자 :)