神經網絡所需的函數：
1）單位階躍函數:
神經網絡的原模型是用單位階躍函數作為激活函數的。單位階躍函數計算公式如下：
單位階躍函數圖像如下所示：
從公式可以看出，單位階躍函數在原點處不連續，也就是在原點不可導，由於這個性質，單位階躍函數不能成為主要的激活函數。
2）指數函數與Sigmoid函數
具有以下形狀的函數稱為指數函數：
其中a為常數，且a不等於1。
常用a稱為指數函數的底數。納皮爾數e是一個特別重要的底數，其近視值如下：
這個指數函數包含在以下的Sigmoid函數的分母中。Sigmoid函數是神經網絡中具有代表性的激活函數。
Sigmoid函數的圖像：
問題：在Sigmoid函數中，求以下函數的近似值。
解：取e=2.7作為近似值，答案依次為0.27、0.5、0.73
3）正太分布的概率密度函數
用計算機實際確定神經網絡時，必須設定權重和偏置的初始值。求初始值時，正太分布是一個有用的工具。使用服從這個分布的隨機數，容易取得好的成績。
這是一個期望值為，標准差為的正太分布。
其中均值為0標准差為1的正太分布稱為標准正太分布。