Deep learning：十三(Softmax Regression)
在前面的logistic regression博文Deep learning：四(logistic regression练习) 中，我们知道logistic regression很适合做一些非线性方面的分类问题，不过它只适合处理二分类的问题，且在给出分类结果时还会给出结果的概率 ...
原文：Deep learning：四十三(用Hessian Free方法训练Deep Network)
目前，深度网络 Deep Nets 权值训练的主流方法还是梯度下降法 结合BP算法 ，当然在此之前可以用无监督的方法 比如说RBM，Autoencoder 来预训练参数的权值，而梯度下降法应用在深度网络中的一个缺点是权值的迭代变化值会很小，很容易收敛到的局部最优点 另一个缺点是梯度下降法不能很好的处理有病态的曲率 比如Rosenbrock函数 的误差函数。而本文中所介绍的Hessian Free ...
2013-08-19 11:20 5 12477 推荐指数：
相关推荐
deep learning 以及deep learning 常用模型和方法
首先为什么会有Deep learning，我们得到一个结论就是Deep learning需要多层来获得更抽象的特征表达。 1.Deep learning与Neural Network 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑 ...
Deep learning：三十三(ICA模型)
基础知识： 在sparse coding（可参考Deep learning：二十六(Sparse coding简单理解)，Deep learning：二十九(Sparse coding练习)）模型中，学习到的基是超完备集的，也就是说基集中基的个数比数据的维数还要大，那么对一个 ...
Deep learning：五十(Deconvolution Network简单理解)
深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类： 既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可 ...
Deep learning：三十七(Deep learning中的优化方法)
内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记 ...
Deep Learning 优化方法总结
Stochastic Gradient Descent (SGD) SGD的参数 在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数: Learning Rate 学习率 Weight Decay 权值衰减 Momentum 动量 Learning ...
《DEEP LEARNING》
《DEEP LEARNING》 《DEEP LEARNING》 1. 引言 1.1 什么是、为什么需要深度学习 1.2 简单的机器学习算法对数据表示的依赖 1.3 深度学习的历史趋势 最早的人 ...
Deep learning：十六(deep networks)
从self-taught到deep networks： 从前面的关于self-taught learning介 ...