玻爾茲曼機及其相關模型


深度學習研究的對象是具有深層表示的學習模型,它實際上是由兩種不同的類型構成:

1.以神經網絡為核心的深度神經網絡;

2.以概率圖模型為核心的深度圖模型。


 

下面介紹深度概率圖模型。---常用的深度圖模型------玻爾茲曼機(Boltzmann Machine,BM)。

  它是馬爾科夫無向圖網絡中的一種,以頂點表示隨機變量,邊便是變量間的依賴關系。在深度學習領域中,玻爾茲曼機與自編碼器一樣,是深度學習中常見的預訓練模型和無監督學習模型。BM是一個完全圖結構,所有的結點通過無向邊相連,它將節點集划分為可視層節點集V和隱藏層節點集H。其中,可是層,也稱為輸入層,用於接收可觀察的樣本數據集合;隱藏層則是對輸入數據的抽象,通常能起到隱特征提取、降維等作用。下圖表示的是由4個可視層神經元和3個隱藏層神經元構成,並且任意兩個節點都有邊相連,構成一個完全圖結構。

  BM具有強大的無監督學習能力,能夠學習到輸入數據中復雜的規則。但是無差別的無連接結構,使得其訓練的代價非常昂貴。因此,在實際的應用中,更多的采用的是它的一種簡化版變種網絡:受限玻爾茲曼機。在這種網絡結構中,進保留了可視層神經元與隱藏層神經元之間的連接,但可視層神經元之間,以及隱藏層神經元之間互不相連,這樣就把網絡結構從完全圖簡化為完全二分圖。這種限制性的改造就構成該模型。

上圖的受限玻爾茲曼機的每一個可視層神經元的輸入數據類型,可以取二進制數據0或1,也可以取任意實數值。隱藏層單元是用來提取可視層數據的隱式特征,一般是二進制數值,當神經元的值為1的時候,稱神經元處於激活狀態;當神經元值為0的時候,稱神經元處於非激活或抑制狀態。隱藏層單元的取值服從伯努利分布。

 

 

相關模型--------能量模型:是概率圖中一種具有普適意義的模型,能量的概念來源於物理學和熱力學,用來描述一個物體的穩定性。

  轉化步驟:首先是先定義變量集的能量函數,然后根據能量函數得到每一個子團的勢函數,最后根據無向圖的馬爾科夫獨立性把勢函數轉化為隨機變量的概率分布

  (1)能量函數:通過為隨機變量集合定義一個能量值(標量),從而捕獲該集合中隨機變量間的依賴關系。如果一個隨機變量組合被認為是合理的,則該變量組合也就越穩定,那么它應該具有較少的能量,也就是在所偏好的變量取值上有較小的能量值

  (2)從能量函數到勢函數:勢函數是一個非負函數,描述了變量集合間的相互關系。和能量函數類似,只是取值范圍不同。

  (3)從勢函數到概率分布:在馬爾科夫網絡中,多個變量之間的聯合概率分布是基於“最大團”分解為多個勢函數的乘積。

 

  表明:變量值的概率分布是關於能量函數,也就是說能量值越小,概率分布越大,從認知的角度來理解,就是說能量最小,則概率分布越大,也就是分布越合理。

 

 

 

補充閱讀:

  推薦系統,是連接用戶和物品之間的橋梁,個性化推薦的形式化定義表述為:為特定的推薦產品形態或推薦場景下,構造合理的算法模型與系統架構,把正確的物品,在正確時間,推動給正確的用戶。個性化推薦的應用場景非常廣泛,包括:內容產業、電子商務、社交網絡、廣告精准投放等領域。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM