人工神經網絡概述：
人工神經元模型：
神經網絡的分類：
按照連接方式，可以分為：前向神經網絡 vs. 反饋（遞歸）神經網絡；
按照學習方式，可以分為：有導師學習神經網絡 vs. 無導師學習神經網絡；
按照實現功能，可以分為：擬合（回歸）神經網絡 vs. 分類神經網絡。
數據歸一化：將數據映射到[0, 1]或[-1, 1]區間或其他的區間。
數據歸一化的原因：
1.輸入數據的單位不一樣，有些數據的范圍可能特別大，導致的結果是神經網絡收斂慢、訓練時間長。
2.數據范圍大的輸入在模式分類中的作用可能會偏大，而數據范圍小的輸入作用就可能會偏小。
3.由於神經網絡輸出層的激活函數的值域是有限制的，因此需要將網絡訓練的目標數據映射到激活函數的值域。例如神經網絡的輸出層若采用S形激活
函數，由於S形函數的值域限制在(0,1)，也就是說神經網絡的輸出只能限制在(0,1)，所以訓練數據的輸出就要歸一化到[0,1]區間。
4.S形激活函數在(0,1)區間以外區域很平緩，區分度太小。例如S形函數f(X)在參數a=1時，f(100)與f(5)只相差0.0067。
歸一化算法：
1.y = ( x - min )/( max - min )；
2.y = 2 * ( x - min ) / ( max - min ) - 1。
部分函數：
參數對BP神經網絡性能的影響：
隱含層神經元節點個數
激活函數類型的選擇
學習率
初始權值與閾值
交叉驗證
訓練集
測試集
驗證集
留一法
MATLAB實現程序：
1 %% I. 清空環境變量 2 clear all 3 clc 4 5 %% II. 訓練集/測試集產生 6 %% 7 % 1. 導入數據 8 load spectra_data.mat 9 10 %% 11 % 2. 隨機產生訓練集和測試集 12 temp = randperm(size(NIR,1)); 13 % 訓練集——50個樣本 14 P_train = NIR(temp(1:50),:)'; 15 T_train = octane(temp(1:50),:)'; 16 % 測試集——10個樣本 17 P_test = NIR(temp(51:end),:)'; 18 T_test = octane(temp(51:end),:)'; 19 N = size(P_test,2); 20 21 %% III. 數據歸一化 22 [p_train, ps_input] = mapminmax(P_train,0,1); 23 p_test = mapminmax('apply',P_test,ps_input); 24 25 [t_train, ps_output] = mapminmax(T_train,0,1); 26 27 %% IV. BP神經網絡創建、訓練及仿真測試 28 %% 29 % 1. 創建網絡 30 net = newff(p_train,t_train,9); 31 32 %% 33 % 2. 設置訓練參數 34 net.trainParam.epochs = 1000; 35 net.trainParam.goal = 1e-3; 36 net.trainParam.lr = 0.01; 37 38 %% 39 % 3. 訓練網絡 40 net = train(net,p_train,t_train); 41 42 %% 43 % 4. 仿真測試 44 t_sim = sim(net,p_test); 45 46 %% 47 % 5. 數據反歸一化 48 T_sim = mapminmax('reverse',t_sim,ps_output); 49 50 %% V. 性能評價 51 %% 52 % 1. 相對誤差error 53 error = abs(T_sim - T_test)./T_test; 54 55 %% 56 % 2. 決定系數R^2 57 R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); 58 59 %% 60 % 3. 結果對比 61 result = [T_test' T_sim' error'] 62 63 %% VI. 繪圖 64 figure 65 plot(1:N,T_test,'b:*',1:N,T_sim,'r-o') 66 legend('真實值','預測值') 67 xlabel('預測樣本') 68 ylabel('辛烷值') 69 string = {'測試集辛烷值含量預測結果對比';['R^2=' num2str(R2)]}; 70 title(string)
運行效果截圖：
附測試代碼及數據：https://github.com/shixinzei/Learn-about-Back-Propagation-Neural-Network