http://blog.sciencenet.cn/blog-517721-852551.html
學習筆記:深度學習是機器學習的突破
2006-2007年,加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》以及在Neural computation 和 NIPS上發表了4篇文章,這些文章有兩個主要觀點:
1)多隱層的人工神經網絡具有優異的特征學習能力,學習得到的特征對數據有更本質的刻畫,從而有利於可視化或分類;
2)深度神經網絡在訓練上的難度,可以通過“逐層初始化”(layer-wise pre-training)來有效克服,在這篇文章中,逐層初始化是通過無監督學習實現的。
在其后2012年GOOGLE BRAIN應用深度學習實現了對’貓‘特征的無監督學習后,正式開啟了深度學習在學術界和工業界的浪潮。
深度學習是機器學習研究中的一個新的領域,其動機在於建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,例如圖像,聲音和文本。深度學習是無監督學習的一種。
深度學習的概念源於人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發現數據的分布式特征表示。當前多數分類、回歸等學習方法為淺層結構算法,其局限性在於有限樣本和計算單元情況下對復雜函數的表示能力有限,針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網絡結構,實現復雜函數逼近,表征輸入數據分布式表示,並展現了強大的從少數樣本集中學習數據集本質特征的能力。(多層的好處是可以用較少的參數表示復雜的函數,比如下圖中的右圖,即將復雜函數分解成多層函數遞進表示)
深度學習的實質,是通過構建具有很多隱層的機器學習模型和海量的訓練數據,來學習更有用的特征,從而最終提升分類或預測的准確性。因此,“深度模型”是手段,“特征學習”是目的。區別於傳統的淺層學習,深度學習的不同在於:1)強調了模型結構的深度,通常有5層、6層,甚至10多層的隱層節點;2)明確突出了特征學習的重要性,也就是說,通過逐層特征變換,將樣本在原空間的特征表示變換到一個新特征空間,從而使分類或預測更加容易。與人工規則構造特征的方法相比,利用大數據來學習特征,更能夠刻畫數據的豐富內在信息。
如下是深度學習的非常好的一批教程網站
ufldl的2個教程(入門絕對的好教程,Ng的,邏輯清晰有練習):一
ufldl的2個教程(入門絕對的好教程,Ng的,邏輯清晰有練習):二
Bengio團隊的deep learning教程,用的theano庫,主要是rbm系列,搞python的可以參考
deeplearning.net主頁,里面包含的信息量非常多,有software, reading list, research lab, dataset, demo等,強烈推薦,自己去發現好資料。
Deep learning的toolbox,matlab實現的,對應源碼來學習一些常見的DL模型很有幫助,這個庫我主要是用來學習算法實現過程的。
2013年龍星計划深度學習教程,鄧力大牛主講,雖然老師准備得不充分,不過還是很有收獲的。
Hinton大牛在coursera上開的神經網絡課程,DL部分有不少,非常贊,沒有廢話,課件每句話都包含了很多信息,有一定DL基礎后去聽收獲更大。
Larochelle關於DL的課件,邏輯清晰,覆蓋面廣,包含了rbm系列,autoencoder系列,sparse coding系列,還有crf,cnn,rnn等。雖然網頁是法文,但是課件是英文。
CMU大學2013年的deep learning課程,有不少reading paper可以參考。
達慕思大學Lorenzo Torresani的2013Deep learning課程reading list.
Deep Learning Methods for Vision(余凱等在cvpr2012上組織一個workshop,關於DL在視覺上的應用)。
斯坦福Ng團隊成員鏈接主頁,可以進入團隊成員的主頁,比較熟悉的有Richard Socher, Honglak Lee, Quoc Le等。
多倫多ML團隊成員鏈接主頁,可以進入團隊成員主頁,包括DL鼻祖hinton,還有Ruslan Salakhutdinov , Alex Krizhevsky等。
蒙特利爾大學機器學習團隊成員鏈接主頁,包括大牛Bengio,還有Ian Goodfellow 等。
紐約大學的機器學習團隊成員鏈接主頁,包括大牛Lecun,還有Rob Fergus等。
豆瓣上的腦與deep learning讀書會,有講義和部分視頻,主要介紹了一些於deep learning相關的生物神經網絡。
Large Scale ML的課程,由Lecun和Langford講的,能不推薦么。
Yann Lecun的2014年Deep Learning課程主頁。 視頻鏈接。
一些常見的DL code列表,csdn博主zouxy09的博文,Deep Learning源代碼收集-持續更新…
Deep Learning for NLP (without Magic),由DL界5大高手之一的Richard Socher小組搞的,他主要是NLP的。
2012 Graduate Summer School: Deep Learning, Feature Learning,高手雲集,深度學習盛宴,幾乎所有的DL大牛都有參加。
matlab下的maxPooling速度優化,調用C++實現的。
2014年ACL機器學習領域主席Kevin Duh的深度學習入門講座視頻。
R-CNN code: Regions with Convolutional Neural Network Features.
以上文字和網站鏈接資料摘編自如下網址:
http://www.myexception.cn/other/1266691.html
http://www.cnblogs.com/tornadomeet/archive/2012/05/24/2515980.html
另外給出2006年的3篇關於深度學習的突破性論文:
Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithm for deep belief nets. Neural Computation 18:1527-1554, 2006
Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle,Greedy LayerWise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007