吳恩達深度學習課程筆記

神經網絡和深度學習

課程

• 1-1深度學習概述
• 2-1 神經網絡的編程基礎
• 2-2 邏輯回歸代價函數與梯度下降
• 2-3 計算圖與邏輯回歸中的梯度下降
• 2-4 向量化
• 2-5 向量化邏輯回歸
• 2-6 向量化 logistic 回歸的梯度輸出
• 2-7 Python 中的廣播
• 2-8 關於 python _ numpy 向量的說明
• 2-9 logistic 損失函數的解釋
• 3-1 神經網絡概述
• 3-2 神經網絡的表示
• 3-3 計算一個神經網絡的輸出
• 3-4 多樣本向量化
• 3-5 激活函數
• 3-6 激活函數的導數
• 3-7 神經網絡的梯度下降
• 3-8 隨機初始化
• 4-1 深層神經網絡
• 4-2 前向傳播和反向傳播
• 4-3 核對矩陣的維數
• 4-4 為什么使用深層表示?
• 4-5 搭建神經網絡塊
• 4-6 參數 VS 超參數 

作業

• Python Basics with Numpy
• Logistic Regression with a Neural Network mindset
• Planar data classification with one hidden layer
• Building your Deep Neural Network: Step by Step
• Deep Neural Network for Image Classification: Application

改善深層神經網絡：超參數調試、正則化以及優化  

課程 

• 1-1 訓練，驗證，測試集
• 1-2 偏差，方差
• 1-3 機器學習基礎
• 1-4 正則化
• 1-5 為什么正則化有利於預防過擬合呢？
• 1-6 dropout 正則化
• 1-7 理解 dropout
• 1-8 其他正則化方法
• 1-9 歸一化輸入
• 1-10 梯度消失/梯度爆炸
• 1-11 神經網絡的權重初始化
• 1-12 梯度的數值逼近
• 1-13 梯度檢驗
• 1-14 梯度檢驗應用的注意事項
• 2-1 Mini-batch 梯度下降
• 2-2 理解 mini-batch 梯度下降法
• 2-3 指數加權平均數
• 2-4 指數加權平均的偏差修正
• 2-5 動量梯度下降法
• 2-6 RMSprop
• 2-7 Adam 優化算法
• 2-8 學習率衰減
• 2-9 局部最優的問題
• 3-1 調試處理
• 3-2 為超參數選擇合適的范圍
• 3-3 超參數訓練的實踐
• 3-4 歸一化網絡的激活函數
• 3-5 將 Batch Norm 擬合進神經網絡
• 3-6 Batch Norm 為什么奏效？
• 3-7 測試時的 Batch Norm
• 3-8 Softmax 回歸
• 3-9 訓練一個 Softmax 分類器
• 3-10 TensorFlow

結構化機器學習項目

課程

• 1-1 正交化
• 1-2 單一數字評估指標
• 1-3 滿足和優化指標
• 1-4 訓練/開發/測試集划分
• 1-5 什么時候該改變開發/測試集和指標？
• 1-6 為什么是人的表現？
• 1-7 可避免偏差
• 1-8 理解人的表現
• 1-9 超過人的表現
• 1-10 改善你的模型的表現
• 2-1 進行誤差分析
• 2-2 清除標注錯誤的數據
• 2-3 快速搭建你的第一個系統，並進行迭代
• 2-4 在不同的划分上進行訓練並測試
• 2-5 不匹配數據划分的偏差和方差
• 2-6 定位數據不匹配
• 2-7 遷移學習
• 2-8 多任務學習
• 2-9 什么是端到端的深度學習？
• 2-10 是否要使用端到端的深度學習？ 

卷積神經網絡

• 1-1 計算機視覺
• 1-2 邊緣檢測示例
• 1-3 更多邊緣檢測內容
• 1-4 Padding
• 1-5 卷積步長
• 1-6 三維卷積
• 1-7 單層卷積網絡
• 1-8 簡單卷積網絡示例
• 1-9 池化層（Pooling layers）
• 1-10 卷積神經網絡示例
• 1-11 為什么使用卷積？
• 2-1 經典網絡
• 2-2 殘差網絡
• 2-3 殘差網絡為什么有用？
• 2-4 網絡中的網絡以及 1×1 卷積
• 2-5 谷歌 Inception 網絡簡介
• 2-6 Inception 網絡
• 2-7 遷移學習
• 2-8 數據擴充
• 2-9 計算機視覺現狀
• 3-1 目標定位
• 3-2 特征點檢測
• 3-3 目標檢測
• 3-4 卷積的滑動窗口實現
• 3-5 Bounding Box 預測
• 3-6 交並比
• 3-7 非極大值抑制
• 3-8 Anchor Boxes
• 3-9 YOLO 算法
• 3-10 候選區域
• 4-1 One-Shot 學習
• 4-2 Siamese 網絡
• 4-3 Triplet 損失
• 4-4 面部驗證與二分類
• 4-5 什么是神經風格轉換？
• 4-6 什么是深度卷積網絡 ?
• 4-7 代價函數
• 4-8 內容代價函數
• 4-9 風格代價函數
  
• 4-10 一維到三維推廣