判别解析.docVIP

判别分析 判别分析问题：在自然科学与社会科学的众多领域中，研究对象往往用某种方式已经分为若干类型，当得到一个新的样品，要确定该样品属于已知的类型中的那一类，这类问题属于判别分析。 判别分析模型：从统计数据分析的角度，判别分析的模型如下：设有个总体，它们都是维总体，其数量指标在各个总体下具有不同的分布特征。对某一个新的样品数据，要根据各总体的特征按一定的准则判断该样品应归属那一个总体。 一.距离判别 1.马氏（Mahalanobis）距离 设维总体，其数量指标的均值向量为，协方差矩阵为，其中 （1）设和是来自总体的两个样品（即样本值），则与的马氏距离定义为 而称 为与的马氏平方距离。 （2）样品与总体的马氏距离定义为 而称 为与总体的马氏平方距离。 上述定义的马氏距离满足距离的三条基本性质：设，，是来自总体的三个样品，则 (1) ,当且仅当时； （2）； （3） 2. 两个总体的判别 设为两个不同的维已知总体，其均值向量分别为和，协方差矩阵分别为和，设为一个待判样品，要判别属于哪个总体。 判别准则： （1.1） 等价于准则： （1.2） 若令 则上述判别准则有等价于 （1.3） 其中称为判别函数。判别准则（1.3）实质上是利用判别函数可以得到空间的一个划分： ， 则准则（1.3）又等价于 （1.4） 下面分别就两总体的协方差矩阵相等和不等分别讨论 （1）若， 此时，由于 记 （1.5） 则 或者从另一个角度看，有 （1.5） 记 ，其中 ， （1.6） 则 这样，距离判别准则（1.3）化为 （1.7） 其中，如（1.5）式所示。或者 （1.8） 其中如（1.6）式所示。 上述判别函数，及都是线性函数，因此（1.7）和（1.8）也称为线性判别准则。 在实际中，，，通常是未知的，我们所具有的资料只是从两个总体各抽取了容量为和的样本， 和， 称为训练样本，这时可用训练样本对，，做估计。，的估计分别取各训练样本的样本均值，即 又个训练样本的样本协方差阵为 当时，的估计取为 当训练样本是简单随机样本时，，，分别是，，的无偏估计。这样，线性判别函数，及的估计可取为 （1.9） 这样两个总体的距离判别准则为 （1.10） 或 （1.11） 其中，及如（1.9）式所示。 （2）若， 此时，判别函数 是二次函数。 在实际中，，，，未知时，可用个总体的训练样本对它们做估计 二次判别函数的估计可取为 （1.12） 判别准则为 （1.13） 其中如（1.12）式所示。 3.多个总体的距离判别 设有个维总体，其均值向量分别为，协方差矩阵分别为，为一个待判样品，要判别属于这个总体的哪个。类似于两个总体情况，计算样品到个总体的马斯距离，比较着个距离，判属于其距离最短的总体。 下面就各相等和不等讨论 （1）若 此时， 可令判别函数为 （1.14） 是线性函数，则到的距离最小等价于对所有，有，从而判别准则为 ， （1.15） 若令 ， (1.16) 则是的一个划分。准则（1.15）实质上等价于 ， ， （1.17） 当，未知时，设是来自总体的训练样本（） 令 判别函数的估计为 判别准则为 ， （2）若不全相同 取判别函数为 （1.11） 是二次函数。由得的一个划分 ， （1.12） 其中 判别规则为： ， ， （1.13） 如果使得，则判属于的任何一个，即在边界上的点可判断为相邻区域的任何一个。 当，未知时，设是来自总体的训练样本（），令 二. Bayes判别 1. Bayes判别的基本思想 设有个维总体：