本文內容
- 概述
- 發展
- 應用
- 熱點
- 術語
最近看《BBC：人體奧秘》，這讓我想起了人工智能和神經網絡。我們的大腦有 1000 億個腦細胞，每個腦細胞都會與 1 萬個不同的腦細胞相互連接。記得，小時候，父母經常跟我們玩躲貓貓。那時，當父母從我們的眼前突然消失時，我們的大腦真的認為父母不見了。可三個月后，我們的大腦知道，如果一個人在眼前消失，可能並不意味着徹底消失。最不可思議的變化是在青春期，期間，大腦會損失之前 40% 的連接，修剪掉那些不必要的連接。我還想起另一個紀錄片《國家地理：旅行到宇宙邊緣》。
無論你，我，他，每個人都獨一無二的、精彩的世界，是一個宇宙。
概述
人工神經網絡（Artificial Neural Network，ANN），簡稱神經網絡（NN），其構築理念受到生物（人或其他動物）神經網絡的運作啟發，是一種模仿生物神經網絡的結構和功能的數學模型（計算模型）。神經網絡由大量的人工神經元聯結，並進行計算。大多數情況下，人工神經網絡能根據外界信息改變內部結構，是一種自適應系統。現代神經網絡是一種非線性統計性數據建模工具，常用來對輸入—輸出間復雜的關系進行建模，或用來探索數據的模式。
目前，神經網絡模型有十種之多，典型的包括 BP 網絡、Hopfield 網絡、ART 網絡和 Kohonen 網絡。
發展
- 1943 年，心理學家 W.S.McCulloch 和數理邏輯學家 W.Pitts 建立了神經網絡和數學模型的 MP 模型。他們通過 MP 模型提出了神經元的形式化數學描述和網絡結構方法，並證明了單個神經元能執行邏輯功能，從而開創了人工神經網絡研究的時代。這是神經網絡最早的描述。
- 1949年，心理學家提出了突觸聯系強度可變的設想。
- 20 世紀 60 年代，神經網絡進一步發展，提出了更完善的神經網絡模型，其中，包括感知器和自適應線性元件等。M.Minsky 等人仔細分析了以感知器為代表的神經網絡系統的功能及局限后，於 1969 年出版了《Perceptron》，指出感知器不能解決高階謂詞問題。該論點極大影響了神經網絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經網絡的研究處於低潮。期間，一些人工神經網絡的研究者仍然致力於這一研究，提出了適應諧振理論（ART 網）、自組織映射、認知機網絡，同時進行了神經網絡數學理論的研究。以上研究為神經網絡的研究和發展奠定了基礎。
- 1982 年，美國加州工學院物理學家 J.J.Hopfield 提出了Hopfield 神經網格模型，引入了“計算能量”概念，給出了網絡穩定性判斷。 1984年，他又提出了連續時間 Hopfield 神經網絡模型，為神經計算機的研究做了開拓性的工作，開創了神經網絡用於聯想記憶和優化計算的新途徑，有力地推動了神經網絡的研究，
- 1985 年，又有學者提出了波耳茲曼模型，在學習中采用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。
- 1986 年進行認知微觀結構地研究，提出了並行分布處理的理論。
- 20 世紀 90 年代初，又有脈沖耦合神經網絡模型被提出。
應用
神經網絡在許多實際領域中取得了顯著的成效，如下所示：
- 自動控制領域。主要有系統建模和辨識，參數整定，極點配置，內模控制，優化設計，預測控制，最優控制，濾波與預測容錯控制等。
- 處理組合優化問題。解決旅行商問題，最大匹配問題，裝箱問題和作業調度問題。
- 圖像處理。對圖像進行邊緣監測、圖像分割、圖像壓縮和圖像恢復。
- 信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用於海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應用。
- 模式識別。已成功應用於手寫字符、汽車牌照、指紋和聲音識別，還可用於目標的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。
- 機器人控制。對機器人眼手系統位置進行協調控制，用於機械手的故障診斷及排除、智能自適應移動機器人的導航。
- 衛生保健、醫療。如通過訓練自主組合的多層感知器，可以區分正常心跳和非正常心跳、基於 BP 網絡的波形分類和特征提取在計算機臨床診斷中的應用。
- 焊接領域。國內外在參數選擇、質量檢驗、質量預測和實時控制方面都有研究，部分成果已得到應用。
- 經濟。能對商品價格、股票價格和企業的可信度等進行短期預測。
另外，在數據挖掘、電力系統、交通、軍事、礦業、農業和氣象等方面亦有應用。
熱點
- 神經網絡與遺傳算法的結合
這主要體現在以下幾個方面：網絡連接權重的進化訓練；網絡結構的進化計算；網絡結構和連接權重的同時進化；訓練算法的進化設計。基於進化計算的神經網絡設計和實現已在眾多領域得到應用，如模式識別、機器人控制、財政等，並取得了較傳統神經網絡更好的性能和結果。但從總體上看，這方面研究還處於初期階段，理論方法有待於完善規范，應用研究有待於加強提高。神經網絡與進化算法相結合的其他方式也有待於進一步研究和挖掘。
- 神經網絡與灰色系統的結合
灰色系統理論是一門極有生命力的系統科學理論。自 1982 年華中理工大學的鄧聚龍教授提出灰色系統后迅速發展，以初步形成以灰色關聯空間為基礎的分析體系，以灰色模型為主體的模型體系，以灰色過程及其生存空間為基礎與內的方法體系，以系統分析、建模、預測、決策、控制、評估為綱的技術體系。目前，國內外對灰色系統的理論和應用研究已經廣泛開展，受到學者的普遍關注。灰色系統理論在在處理不確定性問題上有其獨到之處，並能以系統的離散時序建立連續的時間模型，適合於解決無法用傳統數字精確描述的復雜系統問題。
神經網絡與灰色系統的結合方式有：
- 神經網絡與灰色系統簡單結合；
- 串聯型結合；
- 用神經網絡增強灰色系統；
- 用灰色網絡輔助構造神經網絡；
- 神經網絡與灰色系統的完全融合。
- 神經網絡與專家系統的結合
基於神經網絡與專家系統的混合系統的基本出發點立足於將復雜系統分解成各種功能子系統模塊，各功能子系統模塊分別由神經網絡或專家系統實現。其研究的主要問題包括：混合專家系統的結構框架和選擇實現功能子系統方式的准則兩方面。由於該混合系統從根本上拋開了神經網絡和專家系統的技術限制，是當前研究的熱點。把粗集神經網絡專家系統用於醫學診斷，表明其相對於傳統方法的優越性。
- 神經網絡與模糊邏輯的結合
模糊邏輯是一種處理不確定性、非線性問題的有力工具。它比較適合於表達那些模糊或定性的知識，其推理方式比較類似於人的思維方式，這都是模糊邏輯的優點。但它缺乏有效的自學習和自適應能力。
而將模糊邏輯與神經網絡結合，則網絡中的各個結點及所有參數均有明顯的物理意義，因此這些參數的初值可以根據系統的模糊或定性的知識來加以確定，然后利用學習算法可以很快收斂到要求的輸入輸出關系，這是模糊神經網絡比單純的神經網絡的優點所在。同時，由於它具有神經網絡的結構，因而參數的學習和調整比較容易，這是它比單純的模糊邏輯系統的優點所在。模糊神經網絡控制已成為一種趨勢，它能夠提供更加有效的智能行為、學習能力、自適應特點、並行機制和高度靈活性，使其能夠更成功地處理各種不確定的、復雜的、不精確的和近似的控制問題。
模糊神經控制的未來研究應集中於以下幾個方面：
- 研究模糊邏輯與神經網絡的對應關系，將對模糊控制器的調整轉化為等價的神經網絡的學習過程，用等價的模糊邏輯來初始化神經網絡；
- 完善模糊神經控制的學習算法，以提高控制算法的速度與性能，可引入遺傳算法、BC算法中的模擬退火算法等，以提高控制性能；
- 模糊控制規則的在線優化，可提高控制器的實時性與動態性能；
- 需深入研究系統的穩定性、能控性、能觀性以及平衡吸引子、混沌現象等非線性動力學特性。
關於神經網絡與模糊邏輯相結合的研究已有很多，如氬弧焊、機器人控制等。
- 神經網絡與小波分析的結合
小波變換是對Fourier分析方法的突破。它不但在時域和頻域同時具有良好的局部化性質，而且對低頻信號在頻域和對高頻信號在時域里都有很好的分辨率，從而可以聚集到對象的任意細節。
利用小波變換的思想初始化小波網絡，並對學習參數加以有效約束，采用通常的隨機梯度法分別對一維分段函數、二維分段函數和實際系統中汽輪機壓縮機的數據做了仿真試驗，並與神經網絡、小波分解的建模做了比較，說明了小波網絡在非線性系統黑箱建模中的優越性。小波神經網絡用於機器人的控制，表明其具有更快的收斂速度和更好的非線性逼近能力。
術語
- 專家系統
專家系統是早期人工智能的一個重要分支，可以看作是一類具有專門知識和經驗的電腦智能程序系統，一般采用人工智慧中的知識表示和知識推理技術來模擬通常由領域專家才能解決的復雜問題。一般來說，
專家家系統 = 知識庫 + 推理機器
因此，專家系統也稱為基於知識的系統。
著名的專家系統
ExSys - 第一個商用專家系統。
Mycin - 診斷系統，其表現出人意料的好，誤診率達到專家級水平，超出一些診所的醫生。
Siri - 通過辨識語音作業的專家系統，由蘋果公司收購並推廣到自家產品內作為一個人秘書功能。
- 知識表示
知識表示法（知識重呈/知識表現）是認知科學和人工智能兩個領域共同存在的問題。在認知科學里，它關系到人類如何儲存和處理資料。在人工智能里，其主要目標為儲存知識，讓程式能夠處理，達到人類的智慧。目前仍然沒有一個完美的答案。
從人工智能角度，知識表示涉及如下問題：
- 知識的本質是什么？
- 人類如何表示知識？
- 表示法是只用在某個領域，還是所有領域通用？
- 表示方案（representation scheme）的表現能力表現力如何？
- 表示法應該是描述性的，或者是程序性的？
- 遺傳算法（Genetic algorithm）
遺傳算法是計算數學中用於解決最優化的搜索算法，是進化算法的一種。進化算法最初是借鑒了生物學中的一些現象發展起來的，這些現象包括遺傳、突變、自然選擇以及雜交等。
與傳統的爬山算法相比，遺傳算法能夠跳出局部最優，而找到全局最優點。而且遺傳算法允許使用非常復雜的適應度函數（或者稱目標函數），並對變量的變化范圍加以限制。而傳統的爬山算法，對變量范圍進行限制意味着復雜得多的解決過程。
遺傳算法擅長解決全局最優化問題，如時間表安排問題。很多安排時間表的軟件都使用遺傳算法。遺傳算法還經常被用於解決實際工程問題。
像動態規划的思想是用局部最優來解全局最優，而貪婪算法告訴我們，局部最優不一定是全局最優。遺傳算法保證了全局最優。
- 灰色系統（Gray System）
灰色系統是指研究者對於系統實現其輸入—輸出關系與過程只有部分認識，尚無全面認識。由於人們所研究和處理的大量系統(如社會、經濟、文化、教育等系統)都可視為灰色系統。一般專家系統執行的求解任務是知識密集型的。
- 模糊邏輯控制 (Fuzzy Logic Control)
模糊邏輯控制，簡稱模糊控制，是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎的一種計算機數字控制技術。實質上，模糊控制是一種非線性控制，從屬於智能控制的范疇。其一大特點是，既具有系統化的理論，又有大量實際應用背景。
1965年，美國的L.A.Zadeh創立了模糊集合論；1973年他給出了模糊邏輯控制的定義和相關的定理。
1974年，英國的E.H.Mamdani首先用模糊控制語句組成模糊控制器，並把它應用於鍋爐和蒸汽機的控制，在實驗室獲得成功。這一開拓性的工作標志着模糊控制論的誕生。
模糊控制最初在西方的阻力較大，而在東方，尤其是日本，卻發展迅速。近 20 多年來，模糊控制無論是理論，還是技術，都有了長足進步，成為自動控制領域中一個非常活躍而又碩果累累的分支。其典型應用，如家用電器的模糊洗衣機、空調、微波爐、吸塵器、照相機和攝錄機等；工業控制領域的水凈化處理、發酵過程、化學反應釜、水泥窯爐等的模糊控制；其他方面如地鐵靠站停車、汽車駕駛、電梯、自動扶梯、蒸汽引擎以及機器人的模糊控制等。
- 小波分析（wavelet analysis）
小波分析是傅里葉（Fourier）變換的局部化思想。有人稱它為“數學顯微鏡”。術語“小波（Wavelet）”，顧名思義，就是小的波形。所謂“小”是指它具有衰減性；“波”則是指它的波動性。與傅里葉變換相比，小波變換是時間（空間）頻率的局部化分析，它通過伸縮平移運算對信號（函數）逐步進行多尺度細化，最終達到高頻處時間細分，低頻處頻率細分，能自動適應時頻信號分析的要求，從而可聚焦到信號的任意細節，解決了 Fourier 變換的困難問題，成為繼 Fourier 變換以來科學方法上的重大突破。
傅里葉（Fourier）變換
傅里葉變換能將滿足一定條件的某個函數表示成三角函數，或者它們積分的線性組合。在不同的研究領域，傅里葉變換具有多種不同的變體形式，如連續傅里葉變換和離散傅里葉變換。最初，傅里葉分析是作為熱過程的解析分析的工具被提出的。
當法國熱學工程師 J.B.J.Fourier 於 1807 年提出任一函數都能展開成三角函數的無窮級數，但未得到著名數學家 J.L.Lagrange、P.S.Laplace 和 A.M.Legendre 的認同。
小波變換是法國石油信號處理的工程師 J.Morlet 於 1974 年首先提出，通過物理的直觀和信號處理的實際需要經驗的建立了反演公式。早在 70 年代，A.Calderon 表示定理的發現、Hardy 空間的原子分解和無條件基的深入研究為小波變換奠定理論基礎，J.O.Stromberg 還構造了歷史上非常類似於現在的小波基。1986 年著名數學家 Y.Meyer 偶然構造出了一個真正的小波基，並與 S.Mallat 合作建立了構造小波基的同意方法棗多尺度分析之后，小波分析才開始蓬勃發展。其中，比利時女數學家 I.Daubechies 撰寫的《小波十講（Ten Lectures on Wavelets）》對小波的普及起了重要的推動作用。