机器学习 —— 基础整理（一）贝叶斯决策论；二次判别函数；贝叶斯错误率；生成式模型的参数方法
本文简单整理了以下内容： （一）贝叶斯决策论：最小错误率决策、最小风险决策；经验风险与结构风险 （二）判别函数；生成式模型；多元高斯密度下的判别函数：线性判别函数LDF、二次判别函数QDF （三）贝叶斯错误率 （四）生成式模型的参数估计：贝叶斯学派与频率学派；极大似然估计、最大 ...
原文：贝叶斯决策论
在 前一个例子 中已经举例说明了如何用贝叶斯公式计算后验概率，然后依据后验概率来做决策。 什么是行为 但是，有时候，后验概率本身只能说明具有特征x的样本属于 i类的可能性有多少，却没能表示如果将样本分到 i类时的代价有多大。 在此，引入行为的概念。 分类器的设计初衷很简单，就是进行 分类 这一动作。假设现在来了一个具有特征x的样本，如果将 把样本分入 i类 这一行为记为动作ai的话，我们将有不少于 ...
2012-10-29 16:52 1 11003 推荐指数：
相关推荐
贝叶斯决策 实例
【此文介绍了贝叶斯公式】 现在举一个例子说明怎么使用贝叶斯公式来做决策。 例子： 假设有100个人，每个人都有自己的生日。1年有12个月，假设这100个人的生日从1月到12月的人数的分布情况如下： 3 4 5 7 10 13 14 15 ...
贝叶斯决策理论（1）
数据来自于一个不完全清楚的过程。以投掷硬币为例，严格意义上讲，我们无法预测任意一次投硬币的结果是正面还是反面，只能谈论正面或反面出现的概率。在投掷过程中有大量会影响结果的不可观测的变量，比如投掷的 ...
决策论初探【日常笔记】
1. 决策论概念简介 概率论提供了一个自始至终的数学框架来量化和计算不确定性。当决策论与概率论结合的时候，我们能够在涉及到不确定性的情况下做出最优的决策。这在模式识别中经常遇到。 假设我们有一个输入向量x和对应的目标值向量t，我们的目标是对于一个新 ...
如何简单理解贝叶斯决策理论
参考知乎上的解释。解答的非常明白易懂。https://www.zhihu.com/question/27670909 大致内容： 1、解答了先验概率和后验概率的概念。后验概率更加的准确，大部分机器学习模型尝试得到的也是后验概率 2、贝叶斯公式的推导 3、贝叶斯公式用于后验概率的求解。转换 ...
三、统计决策与贝叶斯估计
1. 统计决策的基本概念 20世纪40年代，Wald提出了把统计推断问题看成是人与自然的一种博弈过程，由此建立了统计决策理论。 统计决策问题的三个要素 在前几章讲的统计问题，都可以归结为一个统计决策问题，也就是建立所谓的统计决策函数，统计决策问题由三个因素组成： 样本空间和分布族 ...
统计决策——贝叶斯决策理论（Bayesian Decision Theory）
（本文为原创学习笔记，主要参考《模式识别（第三版）》（张学工著，清华大学出版社出版）） 1.概念 将分类看做决策，进行贝叶斯决策时考虑各类的先验概率和类条件概率，也即后验概率。考虑先验概率意味着对样本总体的认识，考虑类条件概率是对每一类中某个特征出现频率的认识。由此不难发现，贝叶斯决策 ...
【Bayesian】贝叶斯决策方法（Bayesian Decision Method）
这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝 ...