Hopfield神經網絡 簡介

一、總結

一句話總結：

【Hopfield和BP同一時期】：BP屬於前饋式類型，但是和BP同一時期的另外一個神經網絡也很重要，那就是Hopfield神經網絡，他是反饋式類型。這個網絡比BP出現的還早一點，

【Hopfield網絡的權值不是通過訓練出來的，而是按照一定規則計算出來的】：他的學習規則是基於灌輸式學習，即網絡的權值不是通過訓練出來的，而是按照一定規則計算出來的， Hopfield神經網絡就是采用了這種學習方式，其權值一旦確定就不在改變，而網絡中各神經元的狀態在運行過程中不斷更新，網絡演變到穩定時各神經元的狀態便是問題之解。

【其它網絡的基礎】：在這里簡要解釋一下為什么要學習這個神將網絡，因為深度學習算法起源來源於這里還有BP，從這里開始后面會引入玻爾茲曼機、受限玻爾茲曼機、深度置信網絡，徑向基逼向器、卷積神經網絡、遞歸神經網絡。

 

1、Hopfield神經網絡分為離散型和連續型兩種網絡模型，分別記為DHNN（Discrete Hopfield Neural Network）和CHNN（Continues Hopfield Neural Network）？

(1)、離散的Hopfield網絡用於聯想記憶

(2)、連續的Hopfield網絡用於求解最優化問題

 

 

 

二、Hopfield神經網絡

轉自或參考：Hopfield神經網絡
https://blog.csdn.net/richard2357/article/details/23184999

1982年，生物物理學家J.Hopfield提出了一種新穎的人工神經網絡模型——Hopfield網絡模型，引入了能量函數的概念，是一個非線性動力學系統。

(1) 離散的Hopfield網絡用於聯想記憶

(2) 連續的Hopfield網絡用於求解最優化問題

1. 離散型Hopfield神經網絡

能量函數：

能量函數E按照迭代一定會下降（證明我一直卡在一個地方，后來發現xi改變了，不僅改變了該節點的能量，而且對其它節點也有影響，故把證明貼上來，免得自己忘記）

證明：

無論x從-1變到1還是從1變到-1，能量都是下降的。

特點：結點輸出為-1或+1

用途：聯想記憶（自聯想，互聯想）

(1) 先訓練出權值w

(2) 根據輸入進行迭代，回憶出聯想的結果

2. 連續型Hopfield神經網絡

能量函數：

其中f為signmoid函數，能量函數E按照迭代一定會下降（證明請見專門教材）

特點：結點輸出為(-1, +1)間的連續值

用途：最優化求解（如TSP問題）

(1) 把目標函數轉化為網絡的能量函數

(2) 問題的變量對應於網絡的狀態

(3) 當網絡的能量函數收斂於極小值時，網絡的狀態對應最優解

小結：

優點：成功解決了TSP問題

缺點：因為是貪心算法，故容易陷入局部最小值（解決方法：Boltzmann機引入模擬退火，是其改進）

參考文獻：

[1] 馬銳. [M] 人工神經網絡原理. 機械工業出版社

[2] http://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdfhttp://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdf

 

 

 

三、深度學習 --- Hopfield神經網絡詳解

轉自或參考：深度學習 --- Hopfield神經網絡詳解
https://blog.csdn.net/weixin_42398658/article/details/83991773

前面幾節我們詳細探討了BP神經網絡，基本上很全面深入的探討了BP，BP屬於前饋式類型，但是和BP同一時期的另外一個神經網絡也很重要，那就是Hopfield神經網絡，他是反饋式類型。這個網絡比BP出現的還早一點，他的學習規則是基於灌輸式學習，即網絡的權值不是通過訓練出來的，而是按照一定規則計算出來的， Hopfield神經網絡就是采用了這種學習方式，其權值一旦確定就不在改變，而網絡中各神經元的狀態在運行過程中不斷更新，網絡演變到穩定時各神經元的狀態便是問題之解。在這里簡要解釋一下為什么要學習這個神將網絡，因為深度學習算法起源來源於這里還有BP，從這里開始后面會引入玻爾茲曼機、受限玻爾茲曼機、深度置信網絡，徑向基逼向器、卷積神經網絡、遞歸神經網絡。因此從這里一步步的深入進去是很好的開始，等到卷積你會有總體感，不會覺得太突兀。

Hopfield神經網絡分為離散型和連續型兩種網絡模型，分別記為DHNN（Discrete Hopfield Neural Network）和CHNN（Continues Hopfield Neural Network）,這里主要討論離散型網絡模型，下面默認都是離散型的。