另外有一個更加綜合的觀點就是貝葉斯學派。在貝葉斯學派的觀點下概率表示的是事件的不確定性大小。
使用概率表示不確定性，盡管不是唯一的選擇。可是是必定的，由於假設想使用比較自然的感覺進行合理的綜合的判斷的話。
在模式識別領域，對概率有一個更綜合的了解將會很有幫助。
比如在多項式曲線擬合的過程中，對觀察的目標變量使用頻率學派的觀點來理解看起來比較合適。可是我們希望確定最佳模型的參數w的不確定性情況。於是我們能夠看見在貝葉斯理論中不僅能夠描寫敘述參數的不確定性，實際上選擇模型本身也是不確定的。
比較通俗的理解就是，貝葉斯觀點下，在模型中，通常我們須要建模一個先驗分布。比方說在多項式曲線的擬合過程中，我們不僅要選擇確定模型的參數，我們還須要建立參數的先驗，於是非常easy結合到貝葉斯公式：
在公式（1.43）中右邊的p(D|w)是一個在w下的函數，表示的是在w確定下的數據出現的情況，因此我們稱之為似然函數。
定義了似然之后，對於貝葉斯理論我們能夠使用（1.44）表示。
在貝葉斯理論和頻率學理論中，似然函數p(D|w)都扮演着很重要的角色。
在頻率學觀點中，w被當做是一個確定的參數。這個參數由某種形式的預計來確定。這個預計是基於可能數據集的分布來獲得。而在貝葉斯觀點中，參數的情況來自於一個對w的分布建模。
貝葉斯觀點的優勢在於在模型中包括先驗的知識是非常自然的。比如在拋硬幣的試驗中。假設拋三次硬幣出現了三次都是正面。那么依據頻率學的觀點，使用最大似然進行預計那么得到出現正面的可能性為1。這就是說以后都是以1的概率出現正面。相反在貝葉斯的理論中，引入一個合理的先驗將會避免這樣極端的結論。
盡管在頻率學派和貝葉斯學派中存在非常多的爭論。可是其實沒有純粹的頻率觀點或者貝葉斯觀點。然而在實際的應用中，對貝葉斯理論應用有一個非常大的批評，就是說通常先驗的選擇是基於數學理論方便性來進行選擇。而不是反應不論什么的先驗信念。
盡管說貝葉斯框架是在18世紀就已經提出了，可是貝葉斯理論的應用受限於計算貝葉斯方法的整個過程，尤其是在預測或者比較模型的時候須要marginalize整個的參數空間。可是隨着採樣方法的發展，如Markov chain Monte Carlo。使得其能夠應用於小規模的問題。另外deterministic approximation schemes（variational Bayes and expectation propagation）的發展。作為採樣方法的一種可選替代，也使得貝葉斯方法能夠應用在大規模的應用中。
事實上簡單依照[2]中的比喻來說，打麻將過程中。假設僅僅依照出在桌面上的牌的情況來確定自己出什么牌的就是頻率學派；而假設是考慮牌由誰打出來的基礎上，考慮桌面上牌的情況，那么我們就能夠理解為貝葉斯學派。
本文基本上能夠覺得是PRML的閱讀筆記。主要來自於閱讀[1]中的內容，假設當中有問題。歡迎指正。很感謝。
參考資料：
[1]. Pattern Recongnition and Machine Learning, author Christopher M. Bishop, section 1.2.3 Bayesian probabilities.
[2]. 【機器學習】頻率學派和貝葉斯學派。http://blog.csdn.net/zhuangxiaobin/article/details/26166599.