這是一個非常漂亮的三層反向傳播神經網絡的python實現，下一步我准備試着將其修改為多層BP神經網絡。
下面是運行演示函數的截圖，你會發現預測的結果很驚人！
提示：運行演示函數的時候，可以嘗試改變隱藏層的節點數，看節點數增加了，預測的精度會否提升
1 import math 2 import random 3 import string 4 5 random.seed(0) 6 7 # 生成區間[a, b)內的隨機數 8 def rand(a, b): 9 return (b-a)*random.random() + a 10 11 # 生成大小 I*J 的矩陣，默認零矩陣 (當然，亦可用 NumPy 提速) 12 def makeMatrix(I, J, fill=0.0): 13 m = [] 14 for i in range(I): 15 m.append([fill]*J) 16 return m 17 18 # 函數 sigmoid，這里采用 tanh，因為看起來要比標准的 1/(1+e^-x) 漂亮些 19 def sigmoid(x): 20 return math.tanh(x) 21 22 # 函數 sigmoid 的派生函數, 為了得到輸出 (即：y) 23 def dsigmoid(y): 24 return 1.0 - y**2 25 26 class NN: 27 ''' 三層反向傳播神經網絡 ''' 28 def __init__(self, ni, nh, no): 29 # 輸入層、隱藏層、輸出層的節點（數） 30 self.ni = ni + 1 # 增加一個偏差節點 31 self.nh = nh 32 self.no = no 33 34 # 激活神經網絡的所有節點（向量） 35 self.ai = [1.0]*self.ni 36 self.ah = [1.0]*self.nh 37 self.ao = [1.0]*self.no 38 39 # 建立權重（矩陣） 40 self.wi = makeMatrix(self.ni, self.nh) 41 self.wo = makeMatrix(self.nh, self.no) 42 # 設為隨機值 43 for i in range(self.ni): 44 for j in range(self.nh): 45 self.wi[i][j] = rand(-0.2, 0.2) 46 for j in range(self.nh): 47 for k in range(self.no): 48 self.wo[j][k] = rand(-2.0, 2.0) 49 50 # 最后建立動量因子（矩陣） 51 self.ci = makeMatrix(self.ni, self.nh) 52 self.co = makeMatrix(self.nh, self.no) 53 54 def update(self, inputs): 55 if len(inputs) != self.ni-1: 56 raise ValueError('與輸入層節點數不符！') 57 58 # 激活輸入層 59 for i in range(self.ni-1): 60 #self.ai[i] = sigmoid(inputs[i]) 61 self.ai[i] = inputs[i] 62 63 # 激活隱藏層 64 for j in range(self.nh): 65 sum = 0.0 66 for i in range(self.ni): 67 sum = sum + self.ai[i] * self.wi[i][j] 68 self.ah[j] = sigmoid(sum) 69 70 # 激活輸出層 71 for k in range(self.no): 72 sum = 0.0 73 for j in range(self.nh): 74 sum = sum + self.ah[j] * self.wo[j][k] 75 self.ao[k] = sigmoid(sum) 76 77 return self.ao[:] 78 79 def backPropagate(self, targets, N, M): 80 ''' 反向傳播 ''' 81 if len(targets) != self.no: 82 raise ValueError('與輸出層節點數不符！') 83 84 # 計算輸出層的誤差 85 output_deltas = [0.0] * self.no 86 for k in range(self.no): 87 error = targets[k]-self.ao[k] 88 output_deltas[k] = dsigmoid(self.ao[k]) * error 89 90 # 計算隱藏層的誤差 91 hidden_deltas = [0.0] * self.nh 92 for j in range(self.nh): 93 error = 0.0 94 for k in range(self.no): 95 error = error + output_deltas[k]*self.wo[j][k] 96 hidden_deltas[j] = dsigmoid(self.ah[j]) * error 97 98 # 更新輸出層權重 99 for j in range(self.nh): 100 for k in range(self.no): 101 change = output_deltas[k]*self.ah[j] 102 self.wo[j][k] = self.wo[j][k] + N*change + M*self.co[j][k] 103 self.co[j][k] = change 104 #print(N*change, M*self.co[j][k]) 105 106 # 更新輸入層權重 107 for i in range(self.ni): 108 for j in range(self.nh): 109 change = hidden_deltas[j]*self.ai[i] 110 self.wi[i][j] = self.wi[i][j] + N*change + M*self.ci[i][j] 111 self.ci[i][j] = change 112 113 # 計算誤差 114 error = 0.0 115 for k in range(len(targets)): 116 error = error + 0.5*(targets[k]-self.ao[k])**2 117 return error 118 119 def test(self, patterns): 120 for p in patterns: 121 print(p[0], '->', self.update(p[0])) 122 123 def weights(self): 124 print('輸入層權重:') 125 for i in range(self.ni): 126 print(self.wi[i]) 127 print() 128 print('輸出層權重:') 129 for j in range(self.nh): 130 print(self.wo[j]) 131 132 def train(self, patterns, iterations=1000, N=0.5, M=0.1): 133 # N: 學習速率(learning rate) 134 # M: 動量因子(momentum factor) 135 for i in range(iterations): 136 error = 0.0 137 for p in patterns: 138 inputs = p[0] 139 targets = p[1] 140 self.update(inputs) 141 error = error + self.backPropagate(targets, N, M) 142 if i % 100 == 0: 143 print('誤差 %-.5f' % error) 144 145 146 def demo(): 147 # 一個演示：教神經網絡學習邏輯異或（XOR）------------可以換成你自己的數據試試 148 pat = [ 149 [[0,0], [0]], 150 [[0,1], [1]], 151 [[1,0], [1]], 152 [[1,1], [0]] 153 ] 154 155 # 創建一個神經網絡：輸入層有兩個節點、隱藏層有兩個節點、輸出層有一個節點 156 n = NN(2, 2, 1) 157 # 用一些模式訓練它 158 n.train(pat) 159 # 測試訓練的成果（不要吃驚哦） 160 n.test(pat) 161 # 看看訓練好的權重（當然可以考慮把訓練好的權重持久化） 162 #n.weights() 163 164 165 if __name__ == '__main__': 166 demo()