歷史
人工神經網絡誕生於20世紀50年代,那時她叫感知機。
1969年,Marvin Minsky出版的《Perceptrons》將她打入了冷宮。
1974年,暗戀她的Paul Werbos在博士畢業論文中深刻分析了將BP算法運用於神經網絡方面的可能性
1986年,BP算法開始流行開來
1989年,燕大俠加入貝爾實驗室,他開始將1974年提出的標准反向傳播算法應用於深度神經網絡,CNN誕生
90年代中期,支持向量機(Support Vector Machines,SVM)強勢登場,全方位碾壓NN。SVN具有 1)高效,可以快速訓練;2)無需調參,沒有梯度消失問題;3)高效泛化,全局最優解,不存在過擬合問題,幾乎全方位的碾壓NN。NN再次被打入冷宮。
2006年,Hinton在《Science》和相關期刊上發表了論文,首次提出了“深度置信網絡”的概念。他給多層神經網絡相關的學習方法賦予了一個新名詞——“深度學習”。
NN在算法上並沒有創新,NN得以成功利益於在大數據和計算能力
缺點
1、不可解釋性
深度學習從原始的輸入信息到提取特征到輸出信息的過程是一個黑盒子,缺乏可解釋性。
2、大量的數據支撐
深度學習的成果是建立在極其苛刻的前提條件之上,需要大量數據的支撐
例子:走路避免被車撞到
3、數據質量的不穩定
數據質量的不穩定性帶來的是:不可靠、不准確、不公平、不安全
3.1 不可靠、不准確:
就拿分詞器來說,分詞並做詞性標注,30個人來對同一句話分詞可能就有30種分法。抄寫聖經的猶太人,每次抄寫到上帝(即God和Lord)時都要先去洗手祈禱,每行文字加起來得到一個特殊數字,每列數字加起來得到一個特殊數學,通過檢查兩個校驗碼來確定是否抄寫錯誤。
神經網絡中如果輸入的數據是不准確的,不完整的,那么結果也會錯的離譜,有些時候不僅造成損失,而且還會很尷尬。就比如說 Google圖片錯把非裔美國人當作了猩猩;而微軟曾經試着把一個人工智能放在 Twitter上進行學習,幾個小時之后,它就變得充滿惡意,滿口臟話,帶有嚴重種族歧視。(例子來自參考6)
3.2 不公平:
醫生偏向男性,護士偏向女性;程序員偏向男性,前台偏向女性
也許推特上的這個例子有些極端,但不可否認,我們輸入的數據本身就存在着某種程度的偏見和歧視,這種帶有主觀性的,潛移默化的觀念或者暗示,有時我們甚至自己都無法察覺。就比如說:word2vec是 google推出的做詞嵌入(word embedding)的開源工具,從 Google News里提取了 300萬個詞。這組數據傳遞出來的信息包括了「爸爸是醫生,媽媽是護士。」這明顯就帶有性別上的歧視。
這種歧視不僅僅是被原封不動地搬運到了數字世界,而且還會得到放大。如果「醫生」這個詞更多的指向「男人」而非「女人」,那么算法在面對一份公開的醫生職位篩選的時候,它會將男性放在女性前面優先考慮。(例子來自參考6)
3.3 不安全:(例子來自參考6)
「生成對抗式網絡」(GAN)的發明人 Ian Goodfellow提醒我們:現在的神經網絡可以很容易被不軌之徒操縱。他們可以以一種人的肉眼無法識別的方式,篡改圖片,讓機器錯誤地辨識這個圖片。
左邊的是熊貓(機器的確認度是 57.7%),加上中間的這層圖片之后,機器的確認度上升到了 99.3%,認為圖片上出現的是長臂猿。
不要小看這樣的風險,這種惡意篡改人工智能系統的做法,會帶來極大的危害,尤其是被篡改的圖片和最初的圖片在我們看來完全是一回事。比如說無人自駕駛汽車就會受到威脅。
為什么要學習
技術的兩面性或者說事物的雙面性,比如二戰,比如改革開放,比如深度學習
為什么要學習和掌握深度學習,因為一條狗。
“2016年1月27日,國際頂尖期刊《自然》封面文章報道,谷歌研究者開發的名為“阿爾法圍棋”(AlphaGo)的人工智能機器人,在沒有任何讓子的情況下,以5:0完勝歐洲圍棋冠軍、職業二段選手樊麾。在圍棋人工智能領域,實現了一次史無前例的突破。計算機程序能在不讓子的情況下,在完整的圍棋競技中擊敗專業選手,這是第一次。
2016年3月9日到15日,阿爾法圍棋程序挑戰世界圍棋冠軍李世石的圍棋人機大戰五番棋在韓國首爾舉行。比賽采用中國圍棋規則,最終阿爾法圍棋以4比1的總比分取得了勝利。
2016年12月29日晚起到2017年1月4日晚,阿爾法圍棋在弈城圍棋網和野狐圍棋網以“Master”為注冊名,依次對戰數十位人類頂尖圍棋高手,取得60勝0負的輝煌戰績。
2017年5月23日到27日,在中國烏鎮圍棋峰會上,阿爾法圍棋以3比0的總比分戰勝排名世界第一的世界圍棋冠軍柯潔。在這次圍棋峰會期間的2017年5月26日,阿爾法圍棋還戰勝了由陳耀燁、唐韋星、周睿羊、時越、羋昱廷五位世界冠軍組成的圍棋團隊。”——來自百度百科