Sigmoid 미분

Sigmoid 미분을 직관적으로 이해해야 graident vanishing 과 같은 개념도 한층 깊게 이해될 것이라 판단된다. 

이에 따라 sigmoid 미분을 간단하게 확인 해본다. 

 

※들어가기 전

혹시 자연상수 e에 대한 개념이 햇갈리시는 분들은 한번 보고 옵시다. 

https://sseong40.tistory.com/2

[고등수학]자연 상수 e에 대하여 알아보자!

 

즉, 자연상수 e 는 다음과 같이 표기할 수 있다. 

 

$e = \lim_\limits{n \to +\infty} (1+\frac{1}{n})^n$

 

 

sigmoid 함수와 이에따른 미분은 다음과 같다. 

$$\sigma(x) = \frac{1}{1+e^{-x}}$$

 

$$\sigma'(x) = \frac{\partial}{\partial x} \sigma(x) = \sigma(x)(1- \sigma(x))$$

 

합성 함수의 미분을 이용해서 증명해보자. 



$$\frac{\partial}{\partial x} [f(g(x))] = f' [g(x)] * g'(x)$$ 

 

$$\sigma'(x) = (1+e^{-x})^{-1} \\ = -1 (1+e^{-x})^{-2}  *  -e^{-x}$$

 

---

 

$$g'(x) = (e^{-x})' = -e^{-x}$$

 

위 과정이 직관적으로 이해가 안된다면 아래를 참고하자. 

 

※지수함수의 미분 

 

$ (a^x)' = a^{x} \ln a $

$ \frac{\partial y}{\partial x} \\= \lim_\limits{h \to 0}  \frac{a^{x+h}a^{x}}{h}$

 

$ = \lim_\limits{h \to 0} \frac{a^{x}(a^{h}-1)}{h} \\= a^{x}  \times \lim_\limits{h \to 0} \frac{a^{h}-1}{h}$

 

$a^{h}-1 = t $로 치환

$a^{h} = t+1$

이때, $h \to 0$ 이면 $t \to 0$ 이다. 

그리고, $h = \log_a (1+t)$ 이다. 

 

이에 따라 $h \to 0$을 $t \to 0$ 으로 대체하고, 

h 에 $\log_a (1+t)$ 를 대입한다. 

 

$\lim_\limits{t \to 0} \frac{t}{log_a (1+t)} \\=$

$\lim_\limits{t \to 0} \frac{1}{log_a(1+t)^{\frac{1}{t}}}$

 

여기서 $log_a(1+t)^{\frac{1}{t}}$ 는 잘 살펴보면 아까 확인한 자연상수 e 값과 동일하다. 

$e = \lim_\limits{n \to +\infty} (1+\frac{1}{n})^n \\= \lim_\limits{n \to 0}(1+n)^{\frac{1}{n}}$

 

즉, 

$\frac{1}{log_a e} = \ln a$ 이다. 

 

위 증명을 따라 간단하게 

 

$(e^x)' = e^x \ln e = e^x$ 이다. 

 

마지막으로, 

합성 함수의 미분을 적용하여 

$f(x) = e^x,  g(x) = -x$

 

$(e^{(-x)}) * -1 = -e^{-x}$ 

---

계속해서 sigmoid 의 합성함수 미분을 이어나가면, 아래의 과정은 간단해서 부연설명을 하지 않는다. 

확인 끝!