《神經網絡算法與實現-基於Java語言》的讀書筆記


全書總評

  • 書本印刷質量:5星。紙張很白,印刷清楚,文字排版合適,基本沒有排版過程中引入的錯誤,閱讀不累眼睛。
  • 著作編寫質量:3星。入門書,看完后可能會對神經網絡有個基本概念,但是也可能就只有個基本概念。基本概念描述還是清楚的,還給出了比較好的參考資料。幾個例子講的很淺,好處就是提供了代碼,如果有開發方向的需要可以參考。深入學習神經網絡還是參考《神經網絡和機器學習》這本書吧。
  • 著作翻譯質量:4星。用的都是常用詞匯。對於不了解神經網絡的讀者,通過本書了解一些基本概念,為將來學習其他書籍打下基礎;對於了解神經網絡的讀者不會造成概念混淆。
  • 代碼質量:3星。基本沒錯誤,但是思路跟書上不完全匹配。比如說:感知機一般都是單層的,就是一個神經元,一個偏置量,兩個輸入的值,一個輸出的值,兩個權值。但是作者在測試代碼中放入兩個輸入權值,一個輸出權值,不明白,后面都是這樣的思路,於是只好棄了。

讀書筆記

C1.初識神經網絡

基本概念:人工神經元,激活函數,權值,偏置,層。

神經網絡結構:

  • 神經元連接
    • 單層神經網絡:單層感知機,自適應機,自組織映射、Elman網絡和Hopfield網絡。
    • 多層神經網絡:多層感知機,徑向基函數。
  • 信號流
    • 前饋神經網絡:多層感知機,徑向基函數。
    • 反饋神經網絡:單層的(Elman網絡和Hopfield網絡)和多層的(遞歸多層感知機和Echo網絡)。

C2.神經網絡是如何學習的

學習范式:

  • 有監督學習:
    • 描述:已知的數據集與學習得到的結果之間的誤差最小,最小的評價基於某個代價函數。
    • 應用:圖像分類,語音識別,函數逼近和趨勢預測。
  • 無監督學習:
    • 描述:從已知的數據集提取知識,即將數據集分類,類間距離大,類內距離小,評價基於某個代價函數。
    • 應用:聚類分析,數據壓縮,統計建模和語言建模。

學習算法:

  • 兩個階段:訓練和測試。
  • 重要細節:參數。
  • 評價方式:誤差度量和代價函數。
  • 例子:Perceptron 感知機和Delta規則。

C3.有監督學習(運用感知機)

  • 單層感知機的作用和局限性:解決線性可分問題,不能解決非線性問題。
  • 多層感知機(MLP):
    • 層:
      • 輸入層:
      • 隱藏層:激活函數一般選擇雙曲正切或者sigmoid,因為它們是可導的。
      • 輸出層:
    • 學習過程:
      • 反向傳播:敏感性反向傳播。收斂速度比較慢。
      • Levenberg-Marquardt:

C4.無監督學習(自組織映射)

  • 競爭學習或贏家通吃:產生最大值的神經元更新它的權值。
  • Kohonen自組織映射(Self-Organization Map):
    • 一維SOM:產生最大值的神經元更新它的權值,與之相鄰的神經元以相對較低的學習率更新權值。
    • 二維SOM:領域函數判斷相鄰的神經元,使結構更“組織化”。

Rreferences(參考文獻)

Bishop C M. Neural networks for pattern recognition[M]. Oxford university press, 1995. Duda R O, Hart P E, Stork D G. Unsupervised learning and clustering[J]. Pattern classification, 2001: 517-601. Freedman D A. Statistical models: theory and practice[M]. cambridge university press, 2009. Haykin S S, Haykin S S, Haykin S S, et al. Neural networks and learning machines[M]. Upper Saddle River: Pearson, 2009.


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM