吴恩达深度学习课程笔记

神经网络和深度学习

课程

• 1-1深度学习概述
• 2-1 神经网络的编程基础
• 2-2 逻辑回归代价函数与梯度下降
• 2-3 计算图与逻辑回归中的梯度下降
• 2-4 向量化
• 2-5 向量化逻辑回归
• 2-6 向量化 logistic 回归的梯度输出
• 2-7 Python 中的广播
• 2-8 关于 python _ numpy 向量的说明
• 2-9 logistic 损失函数的解释
• 3-1 神经网络概述
• 3-2 神经网络的表示
• 3-3 计算一个神经网络的输出
• 3-4 多样本向量化
• 3-5 激活函数
• 3-6 激活函数的导数
• 3-7 神经网络的梯度下降
• 3-8 随机初始化
• 4-1 深层神经网络
• 4-2 前向传播和反向传播
• 4-3 核对矩阵的维数
• 4-4 为什么使用深层表示?
• 4-5 搭建神经网络块
• 4-6 参数 VS 超参数 

作业

• Python Basics with Numpy
• Logistic Regression with a Neural Network mindset
• Planar data classification with one hidden layer
• Building your Deep Neural Network: Step by Step
• Deep Neural Network for Image Classification: Application

改善深层神经网络：超参数调试、正则化以及优化  

课程 

• 1-1 训练，验证，测试集
• 1-2 偏差，方差
• 1-3 机器学习基础
• 1-4 正则化
• 1-5 为什么正则化有利于预防过拟合呢？
• 1-6 dropout 正则化
• 1-7 理解 dropout
• 1-8 其他正则化方法
• 1-9 归一化输入
• 1-10 梯度消失/梯度爆炸
• 1-11 神经网络的权重初始化
• 1-12 梯度的数值逼近
• 1-13 梯度检验
• 1-14 梯度检验应用的注意事项
• 2-1 Mini-batch 梯度下降
• 2-2 理解 mini-batch 梯度下降法
• 2-3 指数加权平均数
• 2-4 指数加权平均的偏差修正
• 2-5 动量梯度下降法
• 2-6 RMSprop
• 2-7 Adam 优化算法
• 2-8 学习率衰减
• 2-9 局部最优的问题
• 3-1 调试处理
• 3-2 为超参数选择合适的范围
• 3-3 超参数训练的实践
• 3-4 归一化网络的激活函数
• 3-5 将 Batch Norm 拟合进神经网络
• 3-6 Batch Norm 为什么奏效？
• 3-7 测试时的 Batch Norm
• 3-8 Softmax 回归
• 3-9 训练一个 Softmax 分类器
• 3-10 TensorFlow

结构化机器学习项目

课程

• 1-1 正交化
• 1-2 单一数字评估指标
• 1-3 满足和优化指标
• 1-4 训练/开发/测试集划分
• 1-5 什么时候该改变开发/测试集和指标？
• 1-6 为什么是人的表现？
• 1-7 可避免偏差
• 1-8 理解人的表现
• 1-9 超过人的表现
• 1-10 改善你的模型的表现
• 2-1 进行误差分析
• 2-2 清除标注错误的数据
• 2-3 快速搭建你的第一个系统，并进行迭代
• 2-4 在不同的划分上进行训练并测试
• 2-5 不匹配数据划分的偏差和方差
• 2-6 定位数据不匹配
• 2-7 迁移学习
• 2-8 多任务学习
• 2-9 什么是端到端的深度学习？
• 2-10 是否要使用端到端的深度学习？ 

卷积神经网络

• 1-1 计算机视觉
• 1-2 边缘检测示例
• 1-3 更多边缘检测内容
• 1-4 Padding
• 1-5 卷积步长
• 1-6 三维卷积
• 1-7 单层卷积网络
• 1-8 简单卷积网络示例
• 1-9 池化层（Pooling layers）
• 1-10 卷积神经网络示例
• 1-11 为什么使用卷积？
• 2-1 经典网络
• 2-2 残差网络
• 2-3 残差网络为什么有用？
• 2-4 网络中的网络以及 1×1 卷积
• 2-5 谷歌 Inception 网络简介
• 2-6 Inception 网络
• 2-7 迁移学习
• 2-8 数据扩充
• 2-9 计算机视觉现状
• 3-1 目标定位
• 3-2 特征点检测
• 3-3 目标检测
• 3-4 卷积的滑动窗口实现
• 3-5 Bounding Box 预测
• 3-6 交并比
• 3-7 非极大值抑制
• 3-8 Anchor Boxes
• 3-9 YOLO 算法
• 3-10 候选区域
• 4-1 One-Shot 学习
• 4-2 Siamese 网络
• 4-3 Triplet 损失
• 4-4 面部验证与二分类
• 4-5 什么是神经风格转换？
• 4-6 什么是深度卷积网络 ?
• 4-7 代价函数
• 4-8 内容代价函数
• 4-9 风格代价函数
  
• 4-10 一维到三维推广