神經網絡學習筆記-01-基本概念

基本概念

• Artificial Neural Network - 基於神經元的計算方向。
  一個人工神經網絡系統一般包含多個層，每層包含多個神經元（也稱為節點）。
  • 第一層是輸入層。
    基本上沒有什么計算功能，主要是將輸入數據映射到每個節點上。
  • 中間的層次為隱藏層。
    每層都會有一個輸出，包含了本層每個節點的輸出數據。
    每層的輸出數據，也是下一層的輸入數據。
    每層的每個節點會對輸入數據分別計算,產生不同的計算結果。
  • 最后一層是輸出層。
    輸出層的每個節點對應一個分類，計算這個分類的概率。最終輸出概率最高的分類。

即使百萬級的神經單元，也只相當於一只蠕蟲的計算能力。

• Predication Function - 預測函數。
  機器學習的結果就是找到這個預測函數。
  在分類問題中，就是找到預測函數的權值(w,b)。

• Activation Function - 激活函數
  神經網絡中的一個重要概念。原意是模擬大腦神經元是否激活。
  在神經網絡設計中，其作用是：轉換神經元的權值輸出值為神經元的輸出值。
  通俗的理解：權值輸出值\(f(x) = wx + b\)的結果是\(x\)在\(f(x)\)上的值，這個不是我們要的分類結果。
  激活函數\(K\)的作用是將計算\(y = K(f(x))\)，將權值輸出值轉換為分類值。
  下面是常用的激活函數：

  • For the hidden layer
    • TanH
    • sigmoid
    • ReLUs
  • For the output layer
    • softmax

• Forward Propagation - 正向傳播
  在訓練過程中，通過輸入數據產生輸出數據。

• Back Propagation - 反向傳播
  在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。
  這個方面有很多算法可以選擇。

• Regularization - 正規化
  一種避免多度訓練（overfitting）的方法。多度訓練會導致訓練結果對噪音數據過度敏感。
  理論上來說，對當前的預測函數，根據它的復雜度，計算一個懲罰值。通過懲罰值來調整預則函數的權值。

• Gradient Descent - 梯度下降
  反向傳播中，用於調整權值的一個概念，表示計算調整的方向和大小。

• Loss Function - 損失函數
  在分類問題中，一種計算方法，計算因不准確預測而導致的代價。

訓練過程

• 初始化 -> （正向傳播 -> 反向傳播 -> 正規化 -> 梯度下降 -> 重復訓練）

人話就是：
初始化: 隨便產生個預測函數（w b）。
正向傳播：先算一下。
反向傳播: 有偏差（廢話）。
正規化: 讓偏差變得好看點。
梯度下降：把預測函數（w b）向偏差的方向挪一下。
重復訓練：把上面的過程來上500遍。

• 訓練圖

神經網絡示意圖

參照

• Artificial neural network