自己动手实现深度学习框架-5 使用学习率优化器加快模型训练速度
在上个阶段，我们使用固定学习率优化器训练识别MNIST手写数字模型。在后面的示例中将会看到: 如果学习 ...
原文：自己动手实现深度学习框架-3 自动分批训练, 缓解过拟合
代码仓库: https: github.com brandonlyg cute dl 目标 为Session类增加自动分批训练模型的功能, 使框架更好用。 新增缓解过拟合的算法: L 正则化, 随机丢弃。 实现自动分批训练 设计方案 增加Dataset类负责管理数据集, 自动对数据分批。 在Session类中增加fit方法, 从Dataset得到数据, 使用事件机制告诉外界训练情况, 最后返回一个 ...
2020-04-16 12:20 0 1077 推荐指数：
相关推荐
自己动手实现深度学习框架-2 核心实现
目标 完成框架设计文档中列出的基础类和需要在基础类中实现的接口。使用最简的单多层感知机(Multi-Layer Perceptron)模型对框架进行初步验证, 因此, 除了框架的核心部分外, 还要实现一个全连接层，一个激活函数，一个优化器和一个损失函数。 框架代码简介 ...
自己动手实现深度学习框架-1 架构设计
目录 前言 核心概念 整体架构 主要功能 核心类 架构图 设计约束 LayerParam ...
自己动手实现深度学习框架-7 RNN层--GRU, LSTM
目标 这个阶段会给cute-dl添加循环层，使之能够支持RNN--循环神经网络. 具体目标包括: 添加激活函数sigmoid, tanh. 添加GRU(Gate Recurrent Unit)实现. 添加LSTM(Long Short-term Memory)实现 ...
自己动手实现深度学习框架-8 RNN文本分类和文本生成模型
代码仓库: https://github.com/brandonlyg/cute-dl 目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括: 添加嵌入层 ...
自己动手实现深度学习框架-6 卷积层和池化层
代码仓库: https://github.com/brandonlyg/cute-dl (转载请注明出处!) 目标 上个阶段使用MLP模型在在MNIST数据集上实现了92%左右的准确率，达到了tensorflow同等模型的水平。这个阶段要让cute-dl框架支持最简单的卷积 ...
自己动手实现深度学习框架-4 使用交叉熵损失函数支持分类任务
代码仓库: https://github.com/brandonlyg/cute-dl 目标 增加交叉熵损失函数，使框架能够支持分类任务的模型。 构建一个MLP模型, 在mnist数据集上执行分类任务准确率达到91%。 实现交叉熵损失函数 数学原理 分解交叉熵损失函数 ...
《动手学深度学习》系列笔记 —— 过拟合、欠拟合极其解决方案(权重衰减法、丢弃法)
1 训练误差和泛化误差 训练误差（training error）：模型在训练数据集上表现出的误差。 泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍 ...