一、神經元模型
1、神經網絡定義
神經網絡：神經網絡是由適應性的簡單單元組成的廣泛並行互連的網絡，他的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。
神經網絡是目前廣泛使用的一種機器學習方法，機器學習中提到的神經網絡指的是“神經網絡學習”，或者說，是機器學習與神經網絡這兩個學科領域的交叉部分。
2、生物神經網絡的神經元結構
神經網絡中最基本的成分是神經元模型，即定義中的“簡單單元”。
要讓機器像人一樣學習，首先要了解大腦的神經元結構，生物神經網絡的神經元結構如下圖：
由圖可以看出，生物神經元由胞體（Soma）、樹突（Dendrites），突觸（Synapse）和軸突（Axon）等構成。
胞體是神經元的代謝中心，胞體一般生長有許多樹狀突起，稱為樹突，它是神經元的主要接收器。胞體還延伸出一條管狀纖維組織，稱為軸突。樹突是神經元的生物信號輸入端，與其它的神經元相連；軸突是神經元的信號輸出端，連接到其它神經元的樹突上。
生物神經元有兩種狀態：興奮和抑制，平時生物神經元都處於抑制狀態，軸突無輸入，當生物神經元的樹突輸入信號大到一定程度，超過某個閾值時，生物神經元有抑制狀態轉為興奮狀態，同時軸突向其它生物神經元發出信號。軸突的作用主要是傳導信息，傳導的方向是由軸突的起點傳向末端。通常，軸突的末端分出許多末梢，它們同后一個生物神經元的樹突構成一種稱為突觸的機構。其中，前一個神經元的軸突末梢稱為突觸的前膜，后一個生物神經元的樹突稱為突觸的后膜；前膜和后膜兩者之間的窄縫空間稱為突觸的間隙，前一個生物神經元的信息由其軸突傳到末梢之后，通過突觸對后面各個神經元產生影響。
3、M-P神經元模型
1943年，McCulloch 和 Pitts 將生物神經網絡的神經元結構與功能抽象為一個簡單模型，這就是一直沿用至今的“M-P神經網絡模型”。結構如下圖所示：
圖1.3.1 M-P神經元模型 圖1.3.2 邏輯回歸 圖1.3.3 神經元
在這個模型中，神經元接收到來自 n 個其他神經元傳輸過來的輸入信號，這些輸入信號通過帶權重的連接(connection)進行傳遞，神經元接收到的總輸入值將與神經網絡的閾值進行比較，然后通過“激活函數”(activation function)處理以產生神經元的輸出。
理想的激活函數是階躍函數（它將輸入值映射為輸出值“0”或“1”），但階躍函數具有不連續、不光滑等不太好的性質，因此實際常用Sigmoid函數作為激活函數。
把許多個這樣的神經元按一定的層次結構連接起來，就得到了神經網絡。