機器學習 —— 基礎整理（一）貝葉斯決策論；二次判別函數；貝葉斯錯誤率；生成式模型的參數方法
本文簡單整理了以下內容： （一）貝葉斯決策論：最小錯誤率決策、最小風險決策；經驗風險與結構風險 （二）判別函數；生成式模型；多元高斯密度下的判別函數：線性判別函數LDF、二次判別函數QDF （三）貝葉斯錯誤率 （四）生成式模型的參數估計：貝葉斯學派與頻率學派；極大似然估計、最大 ...
原文：貝葉斯決策論
在 前一個例子 中已經舉例說明了如何用貝葉斯公式計算后驗概率，然后依據后驗概率來做決策。 什么是行為 但是，有時候，后驗概率本身只能說明具有特征x的樣本屬於 i類的可能性有多少，卻沒能表示如果將樣本分到 i類時的代價有多大。 在此，引入行為的概念。 分類器的設計初衷很簡單，就是進行 分類 這一動作。假設現在來了一個具有特征x的樣本，如果將 把樣本分入 i類 這一行為記為動作ai的話，我們將有不少於 ...
2012-10-29 16:52 1 11003 推薦指數：
相關推薦
貝葉斯決策 實例
【此文介紹了貝葉斯公式】 現在舉一個例子說明怎么使用貝葉斯公式來做決策。 例子： 假設有100個人，每個人都有自己的生日。1年有12個月，假設這100個人的生日從1月到12月的人數的分布情況如下： 3 4 5 7 10 13 14 15 ...
貝葉斯決策理論（1）
數據來自於一個不完全清楚的過程。以投擲硬幣為例，嚴格意義上講，我們無法預測任意一次投硬幣的結果是正面還是反面，只能談論正面或反面出現的概率。在投擲過程中有大量會影響結果的不可觀測的變量，比如投擲的 ...
決策論初探【日常筆記】
1. 決策論概念簡介 概率論提供了一個自始至終的數學框架來量化和計算不確定性。當決策論與概率論結合的時候，我們能夠在涉及到不確定性的情況下做出最優的決策。這在模式識別中經常遇到。 假設我們有一個輸入向量x和對應的目標值向量t，我們的目標是對於一個新 ...
如何簡單理解貝葉斯決策理論
參考知乎上的解釋。解答的非常明白易懂。https://www.zhihu.com/question/27670909 大致內容： 1、解答了先驗概率和后驗概率的概念。后驗概率更加的准確，大部分機器學習模型嘗試得到的也是后驗概率 2、貝葉斯公式的推導 3、貝葉斯公式用於后驗概率的求解。轉換 ...
三、統計決策與貝葉斯估計
1. 統計決策的基本概念 20世紀40年代，Wald提出了把統計推斷問題看成是人與自然的一種博弈過程，由此建立了統計決策理論。 統計決策問題的三個要素 在前幾章講的統計問題，都可以歸結為一個統計決策問題，也就是建立所謂的統計決策函數，統計決策問題由三個因素組成： 樣本空間和分布族 ...
統計決策——貝葉斯決策理論（Bayesian Decision Theory）
（本文為原創學習筆記，主要參考《模式識別（第三版）》（張學工著，清華大學出版社出版）） 1.概念 將分類看做決策，進行貝葉斯決策時考慮各類的先驗概率和類條件概率，也即后驗概率。考慮先驗概率意味着對樣本總體的認識，考慮類條件概率是對每一類中某個特征出現頻率的認識。由此不難發現，貝葉斯決策 ...
【Bayesian】貝葉斯決策方法（Bayesian Decision Method）
這種情況：我們可以很容易直接得出P(A|B)，P(B|A)則很難直接得出，但我們更關心P(B|A)，貝 ...