神經網絡的發展歷史
先來在視覺上感受一下“深度學習”的地位。下圖是AI、機器學習和深度學習三個概念的一個關系圖。
AI的領域要相對較廣泛,機器學習是AI的一個子領域,而深度學習是機器學習領域中的一個子集。
深度學習算法最近變得越來越流行和越來越有用的算法,然而深度學習或者深度神經網絡的成功得益於層出不窮的神經網絡模型架構。這篇文章當中作者回顧了從 1998 年開始,近 18 年來深度神經網絡的架構發展情況。
圖中的坐標軸我們可以看出橫坐標是操作的復雜度,縱坐標是精度。模型設計一開始的時候模型權重越多模型越大,其精度越高,后來出現了 resNet、GoogleNet、Inception 等網絡架構之后,在取得相同或者更高精度之下,其權重參數不斷下降。值得注意的是,並不是意味着橫坐標越往右,它的運算時間越大。在這里並沒有對時間進行統計,而是對模型參數和網絡的精度進行了縱橫對比。
其中有幾個網絡作者覺得是必學非常值得學習和經典的:AlexNet、LeNet、GoogLeNet、VGG-16、NiN。
第一代人工神經網絡
1943年,心理學家Warren McCulloch和數理邏輯學家Walter Pitts在合作的《A logical calculus of the ideas immanent in nervous activity》論文中提出並給出了人工神經網絡的概念及人工神經元的數學模型,從而開創了人工神經網絡研究的時代。1949年,心理學家唐納德·赫布在《The Organization of Behavior》論文中描述了神經元學習法則。
進一步,美國神經學家Frank Rosenblatt提出可以模擬人類感知能力的機器,並稱之為“感知機”。1957年,在Cornell航空實驗室中,他成功在IBM704機上完成了感知機的仿真,並於1960年,實現了能夠識別一些英文字母的基於感知機的神經計算機—Mark1。
第一代神經網絡能夠對簡單的形狀(如三角形、四邊形)進行分類,人們逐漸認識到這種方法是使用機器實現類似於人類感覺、學習、記憶、識別的趨勢。
但是,第一代神經網絡的結構缺陷制約了其發展。感知機中特征提取層的參數有人手工調整,這違背了其“智能”的要求。另一方面,單層結構限制了它的學習能力,很多函數都超出了它的學習范疇。
第二代神經網絡
1985年,Geoffrey Hinton使用多個隱藏層來代替感知機中原先的單個特征層,並使用BP算法(Back-propagation algorithm,proposed in 1969,practicable in 1974)來計算網絡參數
1989年,Yann LeCun等人使用深度神經網絡來識別信件中郵編的手寫體字符。后來Lecun進一步運用CNN(卷積神經網絡)完成了銀行支票的手寫體字符識別,識別正確率達到商用級別。盡管該算法取得巨大的成功,但是它在數據集上訓練了大約三天。
網絡結構上分為輸入層、多個隱層層和輸出層,在訓練網絡前隨機初始化權重,通過BP算法調整網絡參數。
BP算法並不總能很好的運行。即使使用隨機梯度下降,BP算法依舊很容易陷入局部最優解。並且隨着網絡層數的增加,訓練的難度越來越大。
第二代神經網絡主要有以下缺點:
1.必須要對有標注的數據進行訓練,無法對無標注數據進行訓練
2.隨着層數的增加,BP傳回的信號會越來越弱,以至限制了網絡的層數
3.在多個隱藏層之間來回傳播導致訓練過慢
4.其可能導致網絡陷入局部最優解
5.有許多參數需要人類憑借經驗和技巧進行手工設定,如網絡層數、結點單元數等超參數,這些參數不能智能選取也制約了神經網絡的發展
而后人們嘗試增加數據集、預估初始化權值的方法,以克服人工神經網絡的缺陷。然而,SVM的出現使得人工神經網絡的研究陷入寒冬。
SVM(Support Vector Machines)的簡單結構使得其訓練速度很快並且比較容易實現。同時,由於SVM的簡單結構,其善於應對簡單特征而不善於應對復雜特征。使用SVM進行學習需要對特定問題的先驗知識,然而很難找到一些通用的先驗知識。同時SVM的特征並不是自己選取的,而是人手工提取的。
盡管SVM在某些領域表現的很好,由於淺層結構的致命缺陷,它並不是人工智能領域好的發展趨勢。
人腦視覺原理
1958,Davidhubel和Torsten Wiesel進行了瞳孔區域與大腦皮層神經元對應關系的研究,發現后腦皮層中存在方向選擇性細胞,大腦皮層對原始信號做低級抽象,逐漸向高級抽象迭代。
進一步的科學研究表明,和人類的許多認知能力相關的大腦皮層並不顯示地預處理感知信號,而是讓它們通過一個復雜的模塊層次結構,久而久之,就可以根據觀察結果呈現的規律來表達它們。
總的來說,人的視覺系統的信息處理是分級的,從低級的V1區提取邊緣特征,再到V2區的形狀或者目標的部分等,再到更高層,整個目標、目標的行為等。有就是說高層的特征是低層特征的組合,從低層到高層的特征表示越來越抽象。這一生理學發現促成了計算機人工智能,在四十年后的突破性發展。
1995年前后,Bruno Olshausen和David Field同時用生理學和計算機手段研究視覺問題。他們提出稀疏編碼算法,使用400張圖像碎片進行迭代,遴選出最佳的碎片權重系數。令人驚奇的是,被選中的權重基本都是照片少不同物體的邊緣線,這些線段形狀相似,區別在於方向。
Bruno Olshausen和David Field的研究結果與四十年前David和Torsten Wiesel的生理發現不謀而合。更進一步的研究表明,深度神經網絡的信息處理是分級的,和人類一樣是從低級邊緣特征到高層抽象表示的復雜層級結構。
研究發現這種規律不僅存在於圖像中,在聲音中也存在。科學家們從未標注的聲音中發現了20中基本聲音結構,其余的聲音可以由這20中基本結構組成。1997年,LSTM(一種特殊的RNN)被提出並在自然語言理解方面具有良好效果。
4.深度神經網絡的興起和發展
2006年,Hinton提出了深度置信網絡(DBN),一種深層網絡模型。使用一種貪心無監督訓練方法來解決問題並取得良好結果。DBN(Deep Belief Networks)的訓練方法降低了學習隱藏層參數的難度。並且該算法的訓練時間和網絡的大小和深度近乎線性關系。
區別於傳統的淺層學習,深度學習更加強調模型結構的深度,明確特征學習的重要性,通過逐層特征變換,將樣本元空間特征表示變換到一個新特征空間,從而使分類或預測更加容易。與人工規則構造特征的方法相比,利用大數據來學習特征,更能夠刻畫數據的豐富內在信息。
相較淺層模型,深度模型具有巨大的潛力。在有海量數據的情況下,很容易通過增大模型來達到更高的正確率。深度模型可以進行無監督的特征提取,直接處理未標注數據,學習結構化特征,因此深度學習也叫做Unsupervised Feature Learning。隨着GPU、FPGA等器件被用於高性能計算、神經網絡硬件的出現和分布式深度學習系統的出現,深度學習的訓練時間被大幅縮短,使得人們可以通過單純的增加使用器件的數量來提升學習的速度。深層網絡模型的出現,使得世界上無數難題得以解決,深度學習已成為人工智能領域最熱門的研究方向。
2010年,美國國防部DARPA計划首次資助深度學習項目。
2011年,微軟研究院和谷歌的語言識別研究人員先后采用DNN技術降低語音識別錯誤率20%-30%,是該領域10年來最大突破
2012年,Hinton將ImageNet圖片分類問題的Top5錯誤率由26%降低至15%。同年Andrew Ng與Jeff Dean搭建Google Brain項目,用包含16000個CPU核的並行結算平台訓練超過10億個神經元的深度網絡,在玉瑩識別和圖像識別領域取得突破性進展。
2013年,Hinton創立的DNN Research公司被Google收購,Yann LeCun加盟Facebook的人工智能實驗室。
2014年,Google將語言識別的精准度從2012年的84%提升到如今的98%,移動端Android系統的語言識別正確率提高了25%。人臉識別方面,Google的人臉識別系統FaceNet在LFW上達到99.63%的准確率。
2015年,Microsoft采用深度神經網絡的殘差學習方法將Imagenet的分類錯誤率降低至3.57%,已低於同類試驗中人眼識別的錯誤率5.1%,其采用的神經網絡已達到152層。
2016年,DeepMind使用了1920個CPU集群和280個GPU的深度學習圍棋軟件AlphaGo戰勝人類圍棋冠軍李世石。
國內對深度學習的研究也在不斷加速:
2012年,華為在香港成立“諾亞方舟實驗室”從事自然語言處理、數據挖掘與機器學習、媒體社交、人際交互等方面的研究。
2013年,百度成立“深度學習研究院”(IDL),將深度學習應用於語言識別和圖像識別、檢索,2014年,Andrew Ng加盟百度。
2013年,騰訊着手建立深度學習平台Mariana,Mariana面向識別、廣告推薦等眾多應用領域,提供默認算法的並行實現。
2015年,阿里發布包含深度學習開放模塊的DTPAI人工智能平台。
深度學習的研究已經滲透到生活的各個領域,已成為人工智能技術的主要發展方向。人工智能最終的目的是使機器具備與人相當的歸納能力,學習能力,分析能力和邏輯思考能力,雖然當前的技術離這一目標還很遙遠,但是深度學習無疑提供了一種可能的途徑,使得機器在單一領域的能力超越人類。
————————————————
版權聲明:本文為CSDN博主「小魔王降臨」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/qq_30460949/article/details/100101983