2第二章+贝叶斯决策理论文档.pptVIP

2.1 Bayes决策的基本概念 2.2 基于最小错误率的Bayes决策 2.3 基于最小风险的Bayes决策 2.4 Bayes决策比较 2.5 基于二值数据的Bayes分类实现 2.6 基于最小错误率的Bayes分类实现 2.7 基于最小风险的Bayes分类实现 2.8 本章小结 2.9 课后作业 2.1 Bayes决策的基本概念 2.1.1 Bayes决策所讨论的问题 （1）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？ （2）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？ 如图4-1所示，正常药品“＋“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。 对于图4-1来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。 问题在于出现模棱两可的情况，如图4-2所示。 此时，任何决策都存在判错的可能性。 即所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。 如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。 如果将一个“－“样品错分为”＋“类所造成的损失要比将”＋“分成”－“类严重。 偏向使对”－“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。 分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。 不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。 错分类往往难以避免，这种可能性可用 表示。 如何做出合理的判决就是Bayes决策所要讨论的问题。 其中最有代表性的是: 1）基于最小错误率的Bayes决策 指出了机器自动识别出现错分类的条件； 错分类的可能性如何计算； 如何实现使错分类出现可能性最小。 2）基于最小错误风险的Bayes决策 引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。 从图4－2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。 2.1.2 Bayes公式 2.2 基于最小错误率的Bayes决策 2.3 基于最小风险的Bayes决策 2.4 Bayes决策比较 2.5 基于二值数据的Bayes分类实现 2.6 基于最小错误率的Bayes分类实现 2.7 基于最小风险的Bayes分类实现 2.8 本章小结 第二章 贝叶斯决策理论 ④观测值X条件下的期望损失 ， 也称为条件风险。 ， ⑤最小风险Bayes决策规则可写成： 这里计算的是最小值。 64 2.3 基于最小风险的Bayes决策 第二章 贝叶斯决策理论 对于实际问题，最小风险Bayes决策可按下列步骤进行。 ①已知 ， ， X的情况下，根据Bayes公式计算出后验概率： 65 2.3 基于最小风险的Bayes决策 及给出待识别 第二章 贝叶斯决策理论 ②利用计算出的后验概念及决策表，按下式计算出采取决策 。 的条件风险 ， ③ 对②中得到的M个条件风险值 ， 进行比较， 找出使条件风险最小的决策 ，则 就是最小风险Bayes决策。 就是待识别样品X的归类。 66 2.3 基于最小风险的Bayes决策 ， ， 第二章 贝叶斯决策理论 67 2.4 Bayes决策比较 第二章 贝叶斯决策理论 1、最小错误率与最小风险的Bayes决策比较 式中假定对M类只有M个决策，即不考虑“拒绝”等其他情况。 而对于任何错误决策，其损失均为1。 ）时没有损失， 这样定义的损失函数称为0－1损失函数。 68 最小错误率与最小风险的Bayes决策之间的关系： 设损失函数为： 由式表明，当做出正确决策（即 第二章 贝叶斯决策理论 69 2.4 Bayes决策比较 在0－1损失函数情况下，基于最小风险的Bayes决策结果也就是基于最小错误概率的Bayes决策结果。 第二章 贝叶斯决策理论 实际上， 也是将X判为 时的错误概率， ，因此当 最大时，基于最小错误概率 的Bayes决策结果将该样品判归为 类，而此时 风险也是最小的。因此它与基于最小错误率的Bayes决策的 70 2.4 Bayes决策比较 最小， 判据是一样的。 2.4 Bayes决策比较 第二章 贝叶斯决策理论 2、实例比较 71 某制药厂生产产品检测分两种情况：正常( ）和异常（ ）， 两类的先验概率分别为 ， 。 现有一待测