原文:Deep learning:八(Sparse Autoencoder)

前言: 这节课来学习下Deep learning领域比较出名的一类算法 sparse autoencoder,即稀疏模式的自动编码。我们知道,deep learning也叫做unsupervised learning,所以这里的sparse autoencoder也应是无监督的。按照前面的博文:Deep learning:一 基础知识 ,Deep learning:七 基础知识 所讲,如果是有监 ...

2013-03-19 22:01 13 44142 推荐指数:

查看详情

Deep learning:九(Sparse Autoencoder练习)

  前言:   现在来进入sparse autoencoder的一个实例练习,参考Ng的网页教程:Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下:从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张,现在需要用sparse ...

Wed Mar 20 18:58:00 CST 2013 103 51508
Deep learning:二十四(stacked autoencoder练习)

  前言:   本次是练习2个隐含层的网络的训练方法,每个网络层都是用的sparse autoencoder思想,利用两个隐含层的网络来提取出输入数据的特征。本次实验验要完成的任务是对MINST进行手写数字识别,实验内容及步骤参考网页教程Exercise: Implement deep ...

Wed Apr 10 06:05:00 CST 2013 77 30073
Deep learning:四十二(Denoise Autoencoder简单理解)

  前言:   当采用无监督的方法分层预训练深度网络的权值时,为了学习到较鲁棒的特征,可以在网络的可视层(即数据的输入层)引入随机噪声,这种方法称为Denoise Autoencoder(简称dAE),由Bengio在08年提出,见其文章Extracting and composing ...

Fri Aug 16 16:02:00 CST 2013 6 68446
Deep learning:四十八(Contractive AutoEncoder简单理解)

  Contractive autoencoderautoencoder的一个变种,其实就是在autoencoder上加入了一个规则项,它简称CAE(对应中文翻译为?)。通常情况下,对权值进行惩罚后的autoencoder数学表达形式为:      这是直接对W的值进行 ...

Thu Nov 21 07:37:00 CST 2013 15 16435
Deep learning:二十九(Sparse coding练习)

  前言   本节主要是练习下斯坦福DL网络教程UFLDL关于Sparse coding那一部分,具体的网页教程参考:Exercise:Sparse Coding。该实验的主要内容是从2w个自然图像的patches中分别采用sparse coding和拓扑的sparse coding方法 ...

Wed Apr 17 00:41:00 CST 2013 66 18947
Deep learning:二十六(Sparse coding简单理解)

  Sparse coding:   本节将简单介绍下sparse coding(稀疏编码),因为sparse coding也是deep learning中一个重要的分支,同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程:Sparse Coding ...

Sat Apr 13 21:39:00 CST 2013 19 42018
Sparse AutoEncoder简介

1. AutoEncoder AutoEncoder是一种特殊的三层神经网络, 其输出等于输入:\(y^{(i)}=x^{(i)}\), 如下图所示: 亦即AutoEncoder想学到的函数为\(f_{W,b} \approx x\), 来使得输出\(\hat{x ...

Wed Oct 02 07:42:00 CST 2013 0 3581
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM