貝葉斯網絡結構學習總結

完備數據集下的貝葉斯網絡結構學習：

• 基於依賴統計分析的方法——  通常利用統計或是信息論的方法分析變量之間的依賴關系，從而獲得最優的網絡結構

• • 對於基於依賴統計分析方法的研究可分為三種：

• • • 基於分解的方法（V結構的存在）

• • • • Decomposition of search for v-structures in DAGs
      • Decomposition of structural learning about directed acylic graphs
      • Structural learning of chain graphs via decomposition 

• • 基於Markov blanket的方法

• • • • Using Markov blankets for causal structure learning
      • Learning Bayesian network strcture using Markov blanket decomposition

• • 基於結構空間限制的方法

• • • • Bayesian network learning algorithms using structural restrictions(將這些約束與pc算法相結合提出了一種改進算法，提高了結構學習效率)（約束由Campos指出包括1、一定存在一條無向邊或是有向邊 2、一定不存在一條無向邊或有向邊  3、部分節點的順序）

• • 常用的算法：

• • • SGS——利用節點間的條件獨立性來確定網絡結構的方法
    • PC——利用稀疏網絡中節點不需要高階獨立性檢驗的特點，提出了一種削減策略:依次由0階獨立性檢驗開始到高階獨立性檢驗，對初始網絡中節點之間的連接進行削減。此種策略有效地從稀疏模型中建立貝葉斯網絡，解決了SGS算法隨着網絡中節點數的增長復雜度呈指數倍增長的問題。
    • TPDA——把結構學習過程分三個階段進行:a)起草(drafting)網絡結構，利用節點之間的互信息得到一個初始的網絡結構;b)增厚(thickening)網絡結構，在步驟a)網絡結構的基礎上計算網絡中不存在連接節點間的條件互信息，對滿足條件的兩節點之間添加邊;。)削減( thinning)網絡結構，計算步驟b)網絡結構中邊的條件互信J急，刪除不滿足條件的邊。

 

• 基於評分搜索的方法

• • 評分函數（表示學習到的網絡和真實網絡的匹配程度）

• • • BIC——由Schwarz在1978年提出的BIC准則。BIC評分函數是在樣本滿足獨立同分布假設的前提下，用對數似然度來度量網絡結構與觀側數據的擬合程度。由於沒有對網絡結構的復雜度進行約束，通過此評分函數搜索得出的網絡結構較為復雜，准確度不高。
    • K2——由Cooper等提出了一種結合先驗信息的K2評分函數。因為在進行貝葉斯網絡結構學習之前，絕大多數情況下節點順序是不清楚的，因此，這也是K2算法最大的弊端。
    • MDL——由Lam在1994年提出了以最小描述長度MDL作為衡量標准，通過搜索與評價來找出正確的網絡結構，不需要知道節點順序等先驗知識。相對於BIC算法，該方法加入了算法復雜度的懲罰項，但是MDL評分函數在觀測數據量較小時，懲罰量所占的得分比重較大導致數據與結構的欠擬合;當觀測數據量較大時，懲罰量所占的比重較小，使得數據與結構過擬合。所以，在實際的計算過程中，MDL評分函數的計算精確度不高。
    • BDe——由Heckerman等人在1995年提出。是K2的改進算法，此方法假設貝葉斯網絡參數的先驗分布服從Dirichlet分布，在計算的過程中不需要事先獲得節點順序，擴大了評分函數的應用領域。
    • IS——由Bouchaala等人提出。利用用隱含估計的方法對貝葉斯網絡參數進行估計，避免了要先確定節點變量分布的情況，減少了由節點變量分布帶來的誤差，提高了評分函數的精確度。
    • MIT——由Campos等人提出。基於條件獨立性測試的評分函數MIT( mutual information tests)，函數通過度量網絡結構與觀測數據之間的KL距離來評價網絡結構的優劣，當兩者距離最小時，網絡結構與觀測數據的相似性最大。此方法利用信息論的原理減少了計算復雜度。
    • 卡方度量
    • 信息熵度量
    • BD——貝葉斯狄利克雷評分

• 搜索算法

• • • K2——K2搜索算法由Cooper等人在1992年提出。K2搜索算法通過貪婪搜索選擇最優的網絡結構，在定義評分函數之后，從一個網絡節點開始，根據已經確定的最大父節點數目和節點順序，選擇分值最高的節點作為該節點的父節點。
    • Ziegler等通過以節點為單位分解評分函數，從而改進了貪婪算法的搜索策略，提高了算法的精度。（Approximation algorithms for restricted Bayesian network structures）
    • Campos等然提出了基於蟻群優化算法的貝葉斯網絡結構學習（Ant colony optimization for learning Bayesian networks）
    • 其他的搜索優化方法，包括貪婪算法，粒子群優化算法，遺傳算法，人工蜂群算法等（An artificial bee colony algorithm for learning Bayesian networks\ A Bayesian network learning algorithm based on independence test and ant colony optimization\Bayesian network structure learning algorithm based on ant colony optimization search optimal node ordering）

• • • 爬山算法——爬山法使用的搜索算子由3種，分別為加邊、減邊、轉邊；其中在加邊和轉邊的使用時有一個前提就是不能有環；主要思想：爬山法從一個初始網絡結構出發，通過三個搜索算子對當前網絡結構進行修改，得到一系列候選網絡結構，然后計算每個候選網絡結構的評分，並選出評分最大的作為最優候選結構，如果最優候選結構的評分大於當前網絡結構的評分，則以最優候選結構作為當前網絡結構，繼續搜索; 否則，就停止搜索，並返回當前網絡結構。

 

 

• 將上述兩種方法相結合

• • MMHC——Tsamardinos等人提出的MMHC算法是比較經典的混合搜索算法之一，首先利用MMPC（max-min parents and chlidren）算法確定每個節點的父節點和子節點集，從而構建出網絡結構框架；然后根據K2搜索策略對已經得到的網絡結構的框架進行搜索評分，得出最優網絡結構。
  • I-ACO-B——由Ji等人提出，首先通過節點間條件獨立性測試縮減網絡結構空間，然后利用蟻群算法對網絡結構空間進行評分搜索，最終得出最優的網絡結構
  • MIC——ZHANG等人在互信息的基礎上提出了MIC( maximum information coeffioient)來判斷節點間的相關性，有效地改善了在縮減網絡結構空間時誤刪最優解的情況。
  • SK-SS——Masegosa 等人利用基於Markov Blanket 集合的方法來構建網絡結構框架，縮減了網絡結構空間，並通過適合於網絡結構框架的評分函數SK-SS( skeleton-ased stochastic search method)來降低計算復雜度，取得了很好的效果。
  • Larjo 等人l鑒於大多數貝葉斯網絡結構都是稀疏的情況，用L-1范數懲罰網絡復雜度，並將正則項加入到評分函數中，在減小網絡結構復雜度的同時提高了計算效率，並在生物領域取得了較好的應用。
  • 增量學習——提出了基於增量學習的貝葉斯網絡結構學習方法，給出了貝葉斯網絡結構增量學習的框架，通過改進BIC評分函數得出評價網絡結構是否需要進行增量學習的評價准則，最后通過TPDA算法學習出當前狀態下准確的貝葉斯網絡結構。實驗結果表明，增量學習的思想大大提高了算法的學習效率。（An incremental structure learning approach for bayesian network）

不完備數據下的貝葉斯網絡結構學習：

• 數據的丟失導致兩方面的問題：

• • 評分函數不再具有可分解形式，不能進行局部搜索
  • 一些充分統計因子不存在，無法直接對網絡結構打分

• 具體流程：

• • 隨機或按分布生成丟失數據，將不完備數據初始化
  • 對數據進行完善修正，並通過參數估計方法得出貝葉斯網絡的參數估計值；
  • 對得到的貝葉斯網絡觀測數據進行結構學習得出G的k次方，並跳至步驟b，直至循環結束

• 部分算法：

• • EM——該方法是由Friedman等人在1998年提出的，該方法是一種比較經典的不完備數據結構學習算法
  • MS-EM——該算法是在EM 算法完成數據修補后，利用爬山算法來尋找最優的網絡結構（Learning belief networks in the presence of missing values and hidden variables）
  • GES-EM\MWST-EM——為了減少爬山算法的計算復雜度提出的算法(Learning Bayesian network equivalence classed from incomplete data)
  • BN-GS—— 針對不完備數據的結構學習算法容易陷入局部最優，提出了一種基於Gibbs sampling修復丟失數據的BN-GS( Bayesian network&Gibbs sampling)算法。BN-GS把Gibbs sampling和數據集修正與貝葉斯網絡結構調整有機地結合在一起。一方面，由Gibbs sampling過程的收斂性保證了貝葉斯網絡結構序列的收斂性;另一方面，每一次依據聯合概率的分解獨立地對樣本進行抽樣，能夠顯著提高抽樣效率。但這種方法在保證精確度的同時，存在重復計算網絡結構的問題，增加了學習復雜度。

• 不足：

• • 基EM算法框架的結構學習算法由於網絡參數的最大似然估計和數據采樣的不准確性使得學習准確度較r氏。

傳統的因果網絡推斷方法：

• 基於估計馬爾可夫等價類的貝葉斯網絡結構學習算法

• 基於估計馬爾可夫等價類的貝葉斯網絡結構學習算法只能用於因果結構無向圖的環境，而無法准確完成模型的方向推斷

• 基於加性噪聲模型或信息集合的因果方向推斷算法

• 基於加性噪聲模型或信息幾何的因果方向推斷算法能夠從數據節點集中構建有效的因果網絡