自己动手实现深度学习框架-3 自动分批训练, 缓解过拟合
代码仓库: https://github.com/brandonlyg/cute-dl 目标 为Session类增加自动分批训练模型的功能, 使框架更好用。 新增缓解过拟合的算法: L2正则化, 随机丢弃。 实现自动分批训练 设计方案 增加Dataset类负责管理 ...
原文：自己动手实现深度学习框架-5 使用学习率优化器加快模型训练速度
代码仓库: https: github.com brandonlyg cute dl 转载请注明出处 目标 增加学习率优化器, 加快模型在小学习率下模型的训练速度。 使用MNIST数据集比较同一个模型使用不同学习率优化器的表现。 常见的学习率优化算法 在上个阶段，我们使用固定学习率优化器训练识别MNIST手写数字模型。在后面的示例中将会看到: 如果学习习设置太大，模型将无法收敛 如果设置学习率太小 ...
2020-04-27 17:16 0 1260 推荐指数：
相关推荐
自己动手实现深度学习框架-8 RNN文本分类和文本生成模型
代码仓库: https://github.com/brandonlyg/cute-dl 目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括: 添加嵌入层 ...
自己动手实现深度学习框架-2 核心实现
目标 完成框架设计文档中列出的基础类和需要在基础类中实现的接口。使用最简的单多层感知机(Multi-Layer Perceptron)模型对框架进行初步验证, 因此, 除了框架的核心部分外, 还要实现一个全连接层，一个激活函数，一个优化器和一个损失函数。 框架代码简介 ...
自己动手实现深度学习框架-1 架构设计
目录 前言 核心概念 整体架构 主要功能 核心类 架构图 设计约束 LayerParam ...
自己动手实现深度学习框架-7 RNN层--GRU, LSTM
. 使用基于GRU和LSTM的RNN模型拟合一个正余弦叠加函数. RNN原理 原始的RNN ...
自己动手实现深度学习框架-4 使用交叉熵损失函数支持分类任务
代码仓库: https://github.com/brandonlyg/cute-dl 目标 增加交叉熵损失函数，使框架能够支持分类任务的模型。 构建一个MLP模型, 在mnist数据集上执行分类任务准确率达到91%。 实现交叉熵损失函数 数学原理 分解交叉熵损失函数 ...
深度学习的模型是怎么训练/优化出来的
以典型的分类问题为例，来梳理模型的训练过程。训练的过程就是问题发现的过程，一次训练是为下一步迭代做好指引。 1.数据准备 准备： 数据标注前的标签体系设定要合理 用于标注的数据集需要无偏、全面、尽可能均衡 标注过程要审核 整理数据集 将各个标签的数据放于 ...
使用GOOGLE COLAB训练深度学习模型
使用 谷歌提供了免费的K80的GPU用于训练深度学习的模型。而且最赞的是以notebook的形式提供，完全可以做到开箱即用。你可以从Google driver处打开。或者这里 默认创建的是没有GPU的，我们需要修改，点击“代码执行程序” 然后就会有GPU使用了 挂在Google云盘 ...