摘要: 一個新的系列，來自於斯坦福德深度學習在線課程：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。本文梳理了該教程第一部分的內容，主要包括人工神經網絡入門、反向傳遞算法、梯度檢驗與高級優化 和 自編碼算法與稀疏性 ...

1.概述 人在獲取圖像時，並不是像計算機逐個像素去讀，一般是掃一眼物體，大致能得到需要的信息，如形狀，顏色，特征。怎么讓機器也有這項能力呢，稀疏編碼來了。 定義： 稀疏自編碼器（Sparse Autoencoder）可以自動從無標注數據中學習特征，可以給出比原始數據更好的特征描述 ...

堆疊式自動編碼器 自動編碼器可以具有多個隱藏層。在這種情況下，它們被稱為堆疊式自動編碼器（或深度自動編碼器）。添加更多的層有助於自動編碼器學習更多的復雜的編碼。就是說，要注意不要使自動編碼器過於強大。想象一個強大的編碼器，它只是學會了把每個輸入映射到單個任意數字（而解碼器則學習反向映射）。顯然 ...

降噪自動編碼器是一種用於圖像去噪無監督的反饋神經網絡 原理如下圖所示 訓練代碼如下 測試代碼如下 打賞 如果對您有幫助，就打賞一下吧O(∩_∩)O ...

深度自動編碼器由兩個對稱的深度置信網絡組成，其中一個深度置信網絡通常有四到五個淺層，構成負責編碼的部分，另一個四到五層的網絡則是解碼部分。 這些層都是受限玻爾茲曼機（RBM）（注：也可以采用自編碼器預訓練？），即構成深度置信網絡的基本單元，它們有一些特殊之處，我們將在下文中介紹。以下是簡化的深度 ...

考慮一個監督學習問題，現在有一些帶標簽的訓練樣本(x(i),y(i)).神經網絡就是定義一個復雜且非線性的假設hW,b(x)，其中W,b 是需要擬合的參數. 下面是一個最簡單的神經網絡結構，只含有一 ...

AE（Auto Encoder, 自動編碼器） AE的結構 如上圖所示，自動編碼器主要由兩部分組成：編碼器（Encoder）和解碼器（Decoder）。編碼器和解碼器可以看作是兩個函數，一個用於將高維輸入（如圖片）映射為低維編碼（code），另一個用於將低維編碼（code）映射為高維 ...

假設給定m個訓練樣本的訓練集，用梯度下降法訓練一個神經網絡，對於單個訓練樣本(x,y)，定義該樣本的損失函數： 那么整個訓練集的損失函數定義如下： 第一項是所有樣本的方差的均值。第二項是一 ...