自己动手实现深度学习框架-2 核心实现
目标 完成框架设计文档中列出的基础类和需要在基础类中实现的接口。使用最简的单多层感知机(Multi-Layer Perceptron)模型对框架进行初步验证, 因此, 除了框架的核心部分外, 还要实现一个全连接层，一个激活函数，一个优化器和一个损失函数。 框架代码简介 ...
原文：自己动手实现深度学习框架-1 架构设计
目录 前言 核心概念 整体架构 主要功能 核心类 架构图 设计约束 LayerParam 属性: Layer 属性 方法 init self, outshape, kargs join self, pre layer, inshape None init params self forward self, in batch, training False backward self, gradi ...
2020-04-10 17:26 0 1447 推荐指数：
相关推荐
自己动手实现深度学习框架-7 RNN层--GRU, LSTM
目标 这个阶段会给cute-dl添加循环层，使之能够支持RNN--循环神经网络. 具体目标包括: 添加激活函数sigmoid, tanh. 添加GRU(Gate Recurrent Unit)实现. 添加LSTM(Long Short-term Memory)实现 ...
自己动手实现深度学习框架-5 使用学习率优化器加快模型训练速度
在上个阶段，我们使用固定学习率优化器训练识别MNIST手写数字模型。在后面的示例中将会看到: 如果学习 ...
自己动手实现深度学习框架-8 RNN文本分类和文本生成模型
代码仓库: https://github.com/brandonlyg/cute-dl 目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括: 添加嵌入层 ...
自己动手实现深度学习框架-6 卷积层和池化层
代码仓库: https://github.com/brandonlyg/cute-dl (转载请注明出处!) 目标 上个阶段使用MLP模型在在MNIST数据集上实现了92%左右的准确率，达到了tensorflow同等模型的水平。这个阶段要让cute-dl框架支持最简单的卷积 ...
自己动手实现深度学习框架-4 使用交叉熵损失函数支持分类任务
代码仓库: https://github.com/brandonlyg/cute-dl 目标 增加交叉熵损失函数，使框架能够支持分类任务的模型。 构建一个MLP模型, 在mnist数据集上执行分类任务准确率达到91%。 实现交叉熵损失函数 数学原理 分解交叉熵损失函数 ...
自己动手实现深度学习框架-3 自动分批训练, 缓解过拟合
代码仓库: https://github.com/brandonlyg/cute-dl 目标 为Session类增加自动分批训练模型的功能, 使框架更好用。 新增缓解过拟合的算法: L2正则化, 随机丢弃。 实现自动分批训练 设计方案 增加Dataset类负责管理 ...
0801-深度学习程序架构设计
0801-深度学习程序架构设计 目录 一、程序架构设计 二、文件组织结构 三、关于 __init__.py pytorch完整教程目录：https://www.cnblogs.com/nickchen121/p/14662511.html 前几章已经 ...