2_3正态分布时统计决策.pptVIP

2.3 正态分布时的统计决策 ;㈠单变量正态分布 单变量正态分布概率密度函数定义为 ;k=1 P(μ-kσx μ+kσ)=0.68 k=2 P(μ-kσx μ+kσ)=0.95 k=3 P(μ-kσx μ+kσ)=0.99 p(x)~N(μ,σ2) ;㈡ 多元正态分布 ;㈡ 多元正态分布;协方差矩阵总是对称阵，协方差矩阵为 ;协方差矩阵总是非负定阵。 对于任意随机向量x，xT∑x是∑的二次型。如果对x≠0的一切x 有 xT∑x≥0 都成立，则称∑为非负定阵。 若xT∑x0，则∑为正定阵。 对于正定矩阵，各阶主子式非零（包括|∑|≠0）。;⒉多元正态分布的性质 ;⑴参数μ和∑对分布的决定性 ;⑵等密度点的轨迹为一超椭球面 ;⑵等密度点的轨迹为一超椭球面 ;⑵等密度点的轨迹为一超椭球面 ;⑵等密度点的轨迹为一超椭球面 ;⑵等密度点的轨迹为一超椭球面 ;⑶不相关性等价于独立性 ;一般情况下相关与独立的关系;多元正态分布情况;证明: ;因此;⑷边缘分布和条件分布的正态性;根据边缘分布定义;其中由于;同理可以推出x2的边缘分布为;同理可以写出给定x2条件下x1的分布;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;证明： ;证明： ;2.3.1正态分布概率密度函数的定义及性质 ;根据线性变换的正态性可以说明，用非奇异阵A对x作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。;2.3.1正态分布概率密度函数的定义及性质 ;变换后的意义;⑹线性组合的正态性 ;⑹线性组合的正态性 ;这时 ;根据最小错误率贝叶斯判别函数，在多元正态概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即写出其相应的表达式。 判别函数为 ;这种情况中每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差。下面再分二种情况讨论。 ⒈先验概率P(ωi)与P(ωj)不相等 此时各类的协方差矩阵 ;从几何上看，相当于各类样本落入在以μi为中心的同样大小的一些超球体内。由于 ;判别函数gi(x)还可进一步简化： ;忽略与i无关的xTx，则判别函数为 ;决策规则就是要求对某个待分类的x分别计算gi(x)，i=1，…，c。若;⒉P(ωi)=P(ωj)时的情况;⒉P(ωi)=P(ωj)时的情况;判别函数gi(x)是x的线性函数。 判别函数为线性函数的分类器称为线性分类器(linear machine)。 ;在∑i=σ2I 下，这个方程可改写为;满足wT(x－x0) = 0式的x的轨迹为ωi与ωj类间的决策面，它是一个超平面。 如果σ2相对于平方距离||μi-μj||2较小，则判决边界的位置相对于确切的先验概率值并不敏感。;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;w=μi-μj;㈡第二种情况∑i=∑ ;这时其决策规则为：为了对观察x进行分类，只要计算出x到每类的均值点μi的Mahalanobis距离平方，最后把x归于最小的类别。 将上式展开，忽略与i无关的xT∑-1x项，则判别函数可写成下面的形式;它也是x的线性判别函数，因此决策面仍是一个超平面。如果决策域Ri和Rj相邻，则决策面方程应满足 gi(x)－gj(x)=0 wT(x―x0)=0 其中 w=∑-1(μi－μj) ;2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面;若各类的先验概率相等，; ; ;㈢第三类情况—∑i≠∑j;判别函数gi(x)表示为x的二次型。 若决策域Ri与Rj相邻，则决策面应满足 gi(x)－gj(x)=0 即 xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0 由上式所决定的决策面为超二次曲面，随着∑i，μi，P(ωi)的不同而呈现为某种超二次曲面，即超球面、超椭球面、超抛物面、超双曲面或超平面。 ;在一维情况下，对于存在任意协方差的情况，判别区域也可以不连通。如图所示。;任意高斯分布导致一般超二次曲面的贝叶斯判别边界。;;任意高斯分布导致一般超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。甚至还有退化为