激活函數——sigmoid函數（理解）

0 - 定義

　　$Sigmoid$函數是一個在生物學中常見的S型函數，也稱為$S$型生長曲線。在信息科學中，由於其單增以及反函數單增等性質，$Sigmoid$函數常被用作神經網絡的閾值函數，將變量映射到0,1之間。

　　其曲線如下圖：

　　　　　　　　

1 - 導數

$$\begin{align*}
sigmoid^{'}(x)&=(\frac{1}{1+e^{-x}})^{'} \\
&=\frac{1}{1+e^{-x}}e^{-x}(-1)\\
&=\frac{e^{-x}}{(1+e^{-x})^2}\\
&=\frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}})\\
&=sigmoid(x)(1-sigmoid(x))
\end{align*}$$

2 - 參考資料

https://baike.baidu.com/item/Sigmoid函數/7981407?fr=aladdin