第2章 随机模式及分类方法2.pptVIP

基本思想：类先验概率未知，考查先验概率变化对错误率的影响，找出使最小贝叶斯风险最大的先验概率，以这种最坏情况设计分类器。 在实际应用中，有时分类器处理的各种类型样本的“先验概率是变化的”，此时再按照某个固定的条件下的决策规则来进行决策，就得不到最小错误率或最小风险所需要得出的结果。这时就要用“最小最大判决规则”了。 先回顾一下2.3节里，介绍的最小风险判决规则，以及条件平均风险的概念和计算公式： 把摸式样本归属于条件平均风险 最小的那一种类型。由上式可以看出， 与类概率密度 、损失函数 、先验概率 有关。如果上述因素是不变的，由足够的样本对分类器进行训练，就可以把特征空间划分成不同的类型区域 。如果先验概率 不是确切知道，在训练过程中，采用多组先验概率，就会得到多组类型区域 的划分结果。 另外，条件平均风险仅反映在样本x条件下，判决为的平均风险，而不能反映把整个特征空间划分成某种类型空间的总的平均风险。 又由于x的观测值是随机向量 ，决策结果又依赖于x，所以决策作为x的函数可以记为 ，它也是一个随机变量。因此，可以定义“平均风险”为： 由上式看出： 如果类型区域的划分不同，则平均风险也不同。 由于先验概率不同，对分类器训练结果，有不同的类型区域划分。 所以，平均风险可作为先验概率的函数。（因为对于各类先验概率组合，有一系列的类型区域划分结果，从而可以计算出一系列的平均风险，可以得到与先验概率的函数关系。） 下面研究一下两类问题，用 和 表示不同的类型，它们的先验概率满足： 所以，上述平均风险与先验概率的关系就是 与 的关系，一般是非线性关系。假定已经得到这个关系，如右图曲线所示。 如果预先不确切知道先验概率，能否按照使平均风险最小来选择决策方案呢? 这是不可以的！！ 这涉及所谓最小最大判决规则。为了说明这个问题，下面针对两类问题进一步研究平均风险 由(2.6-2)： 又因为 ，代入上式： 损失函数 是给定的，由(2.6-5)式和(2.6-6)式看出，如果已经确定类型区域 和 ，则a、b为常数。根据(2.6-4)式，平均风险 是先验概率 的线性函数。由于先验概率 的取值范围为0～1，所以 值变化范围为a～(a+b)。 例如，在上图中，在划分类型区域时， ， 。在分类判决过程中，类型区域不再变化，而 可能变化，最大可能的平均风险 ，这是所不希望的。 如何使最大可能的平均风险为最小呢? 由(2.6-4)式， ，如果b＝0， ，且 与 无关，即最大可能的平均风险达到最小值。但是b＝0又意味着由于类型区域的划分使平均风险达到曲线极值，如下图所示。此时 , 为曲线的最大值。 由上述分析，为了实施最小最大判决规则，必须令b=0。由(2.6-6)式，有： 对于特殊情况： §2-7 序贯分类 序贯分类方法 基本思想：除考虑分类造成的损失外，还考虑特征获取所造成的代价。先用一部分特征分类，然后逐步加入新特征以减少分类损失，同时衡量总的损失，以求得最优的效益。 §2-7 序贯分类 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,…,xi)T 则对于ω1，ω2两类问题, 若X ∈ ω1，则判决完毕 若X∈ ω2 ，则判决完毕 若X不属ω1也不属ω2 ，则不能判决，进行第i+1次观察，得X=(x1,x2,…,xi,,x i+1)T ，再重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。 现在来确定A、B的值。 因为 序贯分类决策规则： 上下门限A、B是由设计给定的错误概率P1(e), P2(e)来确定的，Wald 已证明，观察次数不会很大，它收敛的很快。 §2-8 决策树—多峰情况 Bayes分类器只能适用于样本分布呈单峰情况，对多峰情