Deep learning：十三(Softmax Regression)
在前面的logistic regression博文Deep learning：四(logistic regression練習) 中，我們知道logistic regression很適合做一些非線性方面的分類問題，不過它只適合處理二分類的問題，且在給出分類結果時還會給出結果的概率 ...
原文：Deep learning：四十三(用Hessian Free方法訓練Deep Network)
目前，深度網絡 Deep Nets 權值訓練的主流方法還是梯度下降法 結合BP算法 ，當然在此之前可以用無監督的方法 比如說RBM，Autoencoder 來預訓練參數的權值，而梯度下降法應用在深度網絡中的一個缺點是權值的迭代變化值會很小，很容易收斂到的局部最優點 另一個缺點是梯度下降法不能很好的處理有病態的曲率 比如Rosenbrock函數 的誤差函數。而本文中所介紹的Hessian Free ...
2013-08-19 11:20 5 12477 推薦指數：
相關推薦
deep learning 以及deep learning 常用模型和方法
首先為什么會有Deep learning，我們得到一個結論就是Deep learning需要多層來獲得更抽象的特征表達。 1.Deep learning與Neural Network 深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網絡，它模仿人腦 ...
Deep learning：三十三(ICA模型)
基礎知識： 在sparse coding（可參考Deep learning：二十六(Sparse coding簡單理解)，Deep learning：二十九(Sparse coding練習)）模型中，學習到的基是超完備集的，也就是說基集中基的個數比數據的維數還要大，那么對一個 ...
Deep learning：五十(Deconvolution Network簡單理解)
深度網絡結構是由多個單層網絡疊加而成的，而常見的單層網絡按照編碼解碼情況可以分為下面3類： 既有encoder部分也有decoder部分：比如常見的RBM系列（由RBM可 ...
Deep learning：三十七(Deep learning中的優化方法)
內容： 本文主要是參考論文：On optimization methods for deep learning，文章內容主要是筆記SGD（隨機梯度下降），LBFGS（受限的BFGS），CG（共軛梯度法）三種常見優化算法的在deep learning體系中的性能。下面是一些讀完的筆記 ...
Deep Learning 優化方法總結
Stochastic Gradient Descent (SGD) SGD的參數 在使用隨機梯度下降（SGD）的學習方法時，一般來說有以下幾個可供調節的參數: Learning Rate 學習率 Weight Decay 權值衰減 Momentum 動量 Learning ...
《DEEP LEARNING》
《DEEP LEARNING》 《DEEP LEARNING》 1. 引言 1.1 什么是、為什么需要深度學習 1.2 簡單的機器學習算法對數據表示的依賴 1.3 深度學習的歷史趨勢 最早的人 ...
Deep learning：十六(deep networks)
從self-taught到deep networks： 從前面的關於self-taught learning介 ...