Deep Learning 优化方法总结
Stochastic Gradient Descent (SGD) SGD的参数 在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数: Learning Rate 学习率 Weight Decay 权值衰减 Momentum 动量 Learning ...
原文：Deep learning：三十七(Deep learning中的优化方法)
内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD 随机梯度下降 ，LBFGS 受限的BFGS ，CG 共轭梯度法 三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记。 SGD优点：实现简单，当训练样本足够多时优化速度非常快。 SGD缺点：需要人为调整很多参数，比如学习率，收敛准则 ...
2013-05-02 00:04 1 27541 推荐指数：
相关推荐
deep learning 以及deep learning 常用模型和方法
首先为什么会有Deep learning，我们得到一个结论就是Deep learning需要多层来获得更抽象的特征表达。 1.Deep learning与Neural Network 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑 ...
《DEEP LEARNING》
《DEEP LEARNING》 《DEEP LEARNING》 1. 引言 1.1 什么是、为什么需要深度学习 1.2 简单的机器学习算法对数据表示的依赖 1.3 深度学习的历史趋势 最早的人 ...
Deep learning：十七(Linear Decoders，Convolution和Pooling)
本文主要是学习下Linear Decoder已经在大图片中经常采用的技术convolution和pooling，分别参考网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中对应的章节部分 ...
Deep learning：十六(deep networks)
本节参考的是网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中关于Building Deep Networks for Classification一节的介绍。分下面2大部分内容： 1. ...
Deep learning：八(Sparse Autoencoder)
前言： 这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder，即稀疏模式的自动编码。我们知道，deep learning也叫做unsupervised learning，所以这里的sparse autoencoder也应是无监督 ...
基于Deep Learning 的视频识别方法概览
深度学习在最近十来年特别火，几乎是带动AI浪潮的最大贡献者。互联网视频在最近几年也特别火，短视频、视频直播等各种新型UGC模式牢牢抓住了用户的消费心里，成为互联网吸金的又一利器。当这两个火碰在一起，会 ...
Deep Learning for Information Retrieval
最近关注了一些Deep Learning在Information Retrieval领域的应用，得益于Deep Model在对文本的表达上展现的优势（比如RNN和CNN），我相信在IR的领域引入Deep Model也会取得很好的效果。 IR的范围可能会很广，比如传统的Search Engine ...