原文地址：https: arxiv.org abs . v Abstract: 在机器学习领域，ensemble learning是一种普遍适用的用来提升模型表现的方法， 将通过ensemble learning训练出的模型称为cubersome model, 但在这种情况下，模型通常很大 即参数较多，复杂度较高 ，以至于在模型部署阶段所需要的计算资源极为昂贵，尤其是对于一些以大型神经网络作为子 ...
2018-07-01 16:48 0 950 推荐指数：
Distilling the Knowledge in Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean preprint arXiv:1503.02531, 2015 NIPS 2014 Deep Learning Workshop ...
url: https://arxiv.org/abs/1503.02531 year: NIPS 2014   简介 将大模型的泛化能力转移到小模型的一种显而易见的方法是使用由大模型产生的类概率作为训练小模型的“软目标”  其中, T(temperature, 蒸馏温度), 通常 ...
1 引言 机器学习(Machine Learning)有很多经典的算法，其中基于深度神经网络的深度学习算法目前最受追捧，主要是因为其因为击败李世石的阿尔法狗所用到的算法实际上就是基于神经网络的深度学习算法。本文先介绍基本的神经元，然后简单的感知机，扩展到多层神经网络，多层前馈 ...
一、激活函数 激活函数也称为响应函数，用于处理神经元的输出，理想的激活函数如阶跃函数，Sigmoid函数也常常作为激活函数使用。 在阶跃函数中，1表示神经元处于兴奋状态，0表示神经元处于抑制状态。 二、感知机 感知机是两层神经元组成的神经网络，感知机的权重调整方式如下所示 ...
Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks] Alex是RNN最著名变 ...
当下深度学习技术已经运用到很多领域和任务中，笔者也是一个初学者，主要研究方向是自然语言处理，接触时间大概一年左右，也不算深入，在这里写下一些读书笔记吧，和大家一起学习。鉴于笔者水平有限，难免有些不 ...
本文结构： 模型 训练算法 基于 RNN 的语言模型例子 代码实现 1. 模型 和全连接网络的区别 更细致到向量级的连接图 为什么循环神经网络可以往前看任意多个输入值 循环神经网络种类繁多，今天只看最基本的循环 ...
神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano ...
