機器學習,模型——生成模型(generative model)和判別模型(Discriminative model)


1.生成模型與判別模型區別

生成模型:學習得到聯合概率分布P(x,y),即特征x和標記y共同出現的概率,然后求條件概率分布。能夠學習到數據生成的機制。

判別模型:學習得到條件概率分布P(y|x),即在特征x出現的情況下標記y出現的概率。

數據要求:生成模型需要的數據量比較大,能夠較好地估計概率密度;而判別模型對數據樣本量的要求沒有那么多。

典型的判別模型:k近鄰,感知機,決策樹,邏輯斯蒂回歸(邏輯回歸),最大熵模型,SVM,boosting方法和條件隨機場等。

典型的生成模型:朴素貝葉斯,隱馬爾可夫(HMM),馬爾科夫模型(VMM),高斯混合模型。這種方法一般建立在統計學和Bayes理論的基礎之上。

 

詳細:https://blog.csdn.net/u010358304/article/details/79748153

 

 

2.馬爾科夫模型與隱馬爾科夫模型

(1)馬爾科夫模型(VMM)

①馬爾科夫模型(VMM):它描述了一類重要的隨機過程。

  隨機過程:是隨時間而隨機變化的過程。又稱為隨機函數。

②馬爾科夫模型可以視為一個隨機的有限狀態機。一個馬爾科夫鏈的狀態序列的概率可以通過狀態轉移矩陣上的狀態轉移概率計算。

(2)隱馬爾科夫模型(HMM)

①隱馬爾科夫模型(HMM):我們不知道模型所經過的狀態序列(模型的狀態轉換過程是不可觀察的,是隱蔽的),只知道狀態的隨機函數。

②由一個向量和兩個矩陣(pi,A,B)描述的隱馬爾科夫模型對於實際系統有着巨大的價值,雖然經常只是一種近似,但它們卻是經得起分析的。

③HMM是個兩層結構的模型,包含不可觀測的底層與可觀測到的上層:

  底層是:隨時間變化的馬爾可夫過程,即狀態的變化過程;

  上層是:與隱藏層(底層)某種程序相關的可觀測的狀態集合;

④隱馬爾科夫模型通常解決的問題包括:
  1. 對於一個觀察序列匹配最可能的系統——評估,使用前向算法(forward algorithm)解決;
  2. 對於已生成的一個觀察序列,確定最可能的隱藏狀態序列——解碼,使用Viterbi 算法(Viterbi algorithm)解決;
  3. 對於已生成的觀察序列,決定最可能的模型參數——學習,使用前向-后向算法(forward-backward algorithm)解決。

詳細:https://www.cnblogs.com/weilen/p/9167061.html

 

 

 

參考:

https://blog.csdn.net/u010358304/java/article/details/79748153

https://blog.csdn.net/u010358304/article/details/79748153

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM