神經網絡和深度學習（一）神經網絡基礎

1、什么是神經網絡？

（1）房價預測模型Ⅰ：

 

 神經網絡：size x ——> O ——> price y

ReLU函數（Rectified linear unit 修正線性單元）：修改線性的函數，避免出現price未負數的情況.

（2）房價預測模型Ⅱ：

即神經網絡為：

 

2、Binary classification（二分分類）：

以識別照片中的貓為例

① 判定：若是貓，則 y = 1；若不是貓，則 y = 0.

② 圖片規格：64*64，數字化表示：3個 64*64矩陣，分別表示Red Green Blue的強度值.

③ 樣本x的向量長度：n_x = 64*64*3 = 12288.

④ 訓練集：{(x⁽¹⁾, y⁽¹⁾), (x⁽²⁾, y⁽²⁾), ..., (x^(m), y^(m))}.

⑤ 訓練集數量：m_train，測試集數量：m_test.

⑥ 矩陣X：有m列，每一列表示一個樣本x⁽ⁱ⁾.

⑦ 向量Y：長度為m.

 

3、Logistic regression（邏輯回歸）：

（1）問題定義：

給出 x，求 y^ = P(y = 1 | x)，即在 x 的條件下，照片是貓的概率，y^ 的取值為[0, 1].

（2）解決思路：

給出參數 w（n_x 長度向量），參數 b（常數）.

輸出 y^ = w^Tx + b（ b 即 θ₀，w 即 θ₁~θ_nx）.

但這樣輸出的概率值會超出[0, 1]的范圍，不合理.

使用sigmoid函數，對向量 x 添加x₀ = 1，向量化計算 y^ = sigmoid(w^Tx +b) = sigmoid(θ^Tx)，將概率值限制在了[0, 1]內.

其中 sigmoid(z) = 1/(1 + e^(-z)).

問題轉換為：求參數 w 和 b，使得 y^⁽ⁱ⁾ 與 y⁽ⁱ⁾ 相近.

 

4、Cost function（代價函數）：

Loss/Error function （損失函數）：

在邏輯回歸中的損失函數：

如果 y = 1， L = - log(y^)，則希望 y^ 越大；如果 y = 0，L = log(1 - y^)，則希望 y^ 越小.

Cost function：

問題轉換為：求參數 w 和 b，使得最小化 J(w, b).

 

5、計算圖的導數計算：

體會鏈式法則和反向傳播：

dJ/dv = 3;

dv/da = 1，dJ/da = dJ/dv * dv/da = 3;

dv/du = 1，dJ/du = dJ/dv * dv/du = 3;

du/db = 2，dJ/db = dJ/du * du/db = 6;

du/dc = 3，dJ/dc = dJ/du * du/dc = 9.

 

6、Gradient Descent（梯度下降）：

（1）梯度下降過程：

（2）含有2個特征量，單個樣本的情況：

"da" = dL/da = -y/a + (1-y)/(1-a)

"dz" = dL/dz = dL/da * da/dz = [-y/a + (1-y)/(1-a)] * a(1-a) = a-y

"dw₁" = dL/dw₁ = dL/dz * dz/dw₁ = (a-y)*x₁ 

"dw₂" = dL/dw₂ = dL/dz * dz/dw₂ = (a-y)*x₂

"db" = dL/db = dL/dz * dz/db = (a-y)*1 = a-y

梯度下降流程（一次梯度更新）：

w₁ = w₁ - α*dw₁ = w₁ - α*(a-y)*x₁

w₂ = w₂ - α*dw₂ = w₂ - α*(a-y)*x₂

b = b - α*db = b - α*(a-y)

（3）含有2個特征量，m 個樣本的情況：

梯度下降過程：

Repeat{

　　w₁ = w₁ - α/m*∑dw₁⁽ⁱ⁾ = w₁ - α/m*∑(a-y)*x₁⁽ⁱ⁾

　　w₂ = w₂ - α/m*∑dw₂⁽ⁱ⁾ = w₂ - α/m*∑(a-y)*x₂⁽ⁱ⁾

　　b = b - α/m*∑db⁽ⁱ⁾ = b - α/m*∑(a-y)

}

 

7、向量化：

循環計算：效率低

向量化計算：效率高