用python寫一個簡單的BP神經網絡

1.神經元模型

神經網絡能模擬生物神經系統對真實世界的反應，最基本的成分時神經元模型，如圖。

神經元接收來自其他n個神經元的輸入，通過帶權重的連接傳入，將接收到的總輸入與閾值比較，然后通過激活函數處理產生輸出。

理想激活函數是階躍函數，將輸入映射為輸出值0和1。1對應於神經元興奮，0對應不興奮。

由於階躍函數不連續、不光滑，實際常用sigmoid函數，sigmoid將輸入值擠壓在（0，1）范圍內。

2.多層前饋神經網絡

多層前饋神經網絡，每層神經元與下一層神經元互聯，不存在同層連接和跨層連接。

輸入層神經元接收外界輸入，隱層與輸出層進行處理，最后由輸出層輸出。

3.誤差逆傳播算法

要訓練神經網絡，可以使用誤差逆傳播（BP）算法。

4.例子

用神經網絡實現異或運算

代碼

import numpy as np

#sigmoid函數
def sigmoid1(x):
    a=1/(1+np.exp(-x))
    return a

#訓練集
xunlianji=np.array([[1,1,0],[1,0,1],[0,1,1],[0,0,0]])
yy=np.zeros((4,1))
eta=0.1
#定義連接權、閾值
vih=np.random.rand(2,2)  #輸入層與隱層連接權
delt_vih=np.zeros((2,2))
r=np.random.rand(1,2)    #隱層閾值
delt_r=np.zeros((1,2))
whj=np.random.rand(2,1)  #隱層與輸出層連接權
delt_whj=np.zeros((2,1))
o=np.random.rand(1,1)     #輸出層閾值
delt_o=np.zeros((1,1))
#創建隱層
alph=np.zeros((1,2))
b=np.zeros((1,2))
e=np.zeros((1,2))        #隱層梯度項
#創建輸出層
beita=np.zeros((1,1))
y=np.zeros((1,1))
g=np.zeros((1,1))        #輸出層梯度項
#主循環
for daishu in range(0,1000000):
    for xunlian in range(0,4):
        #計算隱層的輸入
        alph[0,0]=vih[0,0]*xunlianji[xunlian,0]+vih[1,0]*xunlianji[xunlian,1]
        alph[0,1]=vih[0,1]*xunlianji[xunlian,0]+vih[1,1]*xunlianji[xunlian,1]
        #計算隱層輸出
        b[0,0]=sigmoid1(alph[0,0]-r[0,0])
        b[0,1]=sigmoid1(alph[0,1]-r[0,1])
        #計算輸出層的輸入
        beita[0,0]=whj[0,0]*b[0,0]+whj[1,0]*b[0,1]
        #輸出層輸出
        y[0,0]=sigmoid1(beita[0,0]-o[0,0])
        yy[xunlian,0]=y[0,0]
        #輸出層梯度項
        g[0,0]=y[0,0]*(1-y[0,0])*(xunlianji[xunlian,2]-y[0,0])
        #隱層梯度項
        e[0,0]=b[0,0]*(1-b[0,0])*(whj[0,0]*g[0,0])
        e[0,1]=b[0,1]*(1-b[0,1])*(whj[1,0]*g[0,0])
        #更新連接權和閾值
        delt_whj[0,0]=eta*g[0,0]*b[0,0]
        delt_whj[1,0]=eta*g[0,0]*b[0,1]
        whj[0,0]=delt_whj[0,0]+whj[0,0]
        whj[1,0]=delt_whj[1,0]+whj[1,0]
        delt_o[0,0]=-(eta*g[0,0])
        o[0,0]=delt_o[0,0]+o[0,0]
        delt_vih[0,0]=eta*e[0,0]*xunlianji[xunlian,0]
        delt_vih[1,0]=eta*e[0,0]*xunlianji[xunlian,1]
        delt_vih[0,1]=eta*e[0,1]*xunlianji[xunlian,0]
        delt_vih[1,1]=eta*e[0,1]*xunlianji[xunlian,1]
        vih[0,0]=vih[0,0]+delt_vih[0,0]
        vih[1,0]=vih[1,0]+delt_vih[1,0]
        vih[0,1]=vih[0,1]+delt_vih[0,1]
        vih[1,1]=vih[1,1]+delt_vih[1,1]
        delt_r[0,0]=-(eta*e[0,0])
        delt_r[0,1]=-(eta*e[0,1])
        r[0,0]=delt_r[0,0]+r[0,0]
        r[0,1]=delt_r[0,1]+r[0,1]
xunlianji=xunlianji.astype(np.float64)
xunlianji[:,2]=yy[:,0]
print(xunlianji)

結果

可以發現訓練結果越來越接近0 1 1 0.