判别分析及MATLAB应用.docVIP

判别分析 类型：判断样品属于已知类型中哪一类。 判别分析模型： 设有 k 个总体 G1，G2，…，Gk，它们都是p元总体，其数量指标是 设总体 Gi 的分布函数是 Fi(x)=Fi(x1，x2，…，xp)，i=1,2,…,k，通常是连续型总体，即 Gi 具有概率密度 fi(x)=fi(x1，x2，…，xp)。对于任一新样品数据 x=(x1，x2，…，xp)T,要判断它来自哪一个总体 Gi。 通常各个总体Gi 的分布是未知的，它需要由各总体 Gi 取得的样本数据资料来估计。一般，先要估计各个总体的均值向量与协方差矩阵。从每个总体 Gi 取得的样本叫训练样本。判别分析从各训练样本中的提取各总体的信息，构造一定的判别准则，判断新样品属于哪个总体。 从统计学的角度，要求判别准则在某种准则下是最优的，例如错判的概率最小或错判的损失最小等。 由于判别准则的不同，有各种不同的判别分析方法：距离判别、Bayes判别和Fisher判别等。 一、距离判别 、协方差矩阵为 的总体 G 中抽取的两个样品，马氏距离定义为： （1） 1.2 双总体的判别规则 设 G1，G2为两个不同的 p 元已知总体，Gi的均值向量是 Gi的协方差矩阵是 。设 是一个待判样品，距离判别准则为 （2） 即当 x 到 G1的马氏距离不超过到 G2 的马氏距离时，判 x 来自G1；反之，判 x 来自 G2 。 1.3 两个矩阵协方差矩阵相等的情况 1.3.1 已知 （3） 记 其中 ，则 （4） 距离判别简化为 （5） 1.3.1 未知 数据资料来自两个总体的训练样本，每个样品皆是 p 元向量。 总体G1的训练样本：，容量：n1； 总体G2的训练样本：，容量：n2； 要以训练样本估计 ，其估计量分别为 （6） 其中 S1，S2为两个训练样本的协方差矩阵。 距离判别规则为： （7） 其中 ， 1.4 两个总体协方差矩阵不相等的情况 1.4.1已知 令 (8) 距离判别规则如下： (9) 1.4.2 未知 数据资料来自两个总体的训练样本，每个样品皆是 p 元向量。 要以训练样本估计 ，然后用估计值进行判断。 1.5 判别准则的评价 当一个判别准则提出以后，还要研究其优良性。考察一个判别准则的优良性，要考察误判概率，即考察 x 属于G1而误判为属于G2，或x属于G2而误判为属于G1的概率。下面介绍一训练样本为基础的用回代方法估计误判率的方法。 1.5.1 误差率回代估计法 将全体训练样本作为新样品，逐个回代已建立的判别准则中判别归属，这个过程称为回判，回判结果如下： 回判情况 实际归类 G1 G2 G1 n11 n12 G2 n21 n22 误判率的回代估计为： (10) 它常常比真实误判率小，但可以作为真实误判率的一种估计。 1.5.2 误判率的交叉确认估计 误判率的交叉确认估计是每次剔出训练样本中的一个样品，利用其余容量为 n1+n2-1的训练样本建立判别准则，再用建立的判别准则对删除的那个样品作判别。对训练样本中的每个样品作上述分析，以其误判的比例作为误判率的估计。具体步骤如下： 1）从总体G1的容量为 n1的训练样本开始，剔除其中的一个样品，用剩余的容量为 n1-1的训练样本和总体 G2的训练样本建立判别函数； 2）用建立的判别函数对删除的那个样品做判别； 3）重复步骤1）、2），直到G1的训练样本中的n1个样品一次被删除，又进行判别。其误判样品个数记为 n12； 4）对总体 G2的训练样本重复步骤1）、2）、3），并记其误判样品个数为n21。 误判率的交叉确认估计为： (11) 1.6 多总体的距离判别 设有 k 个总体 G1，G2，…，Gk，均值向量分别为 协方差矩阵分别为 ，类似两总体的距离判别方法，计算新样品 x 到各总体的马氏距离，比较这 k 个距离，判定 x 属于其马氏距离最短的总体。若最短距离在不只一个总体达到，则可将 x 判归具有最短距离总体的任一个。 当总体的均值向量和协方差矩阵未知时，使用训练样本作估计。也可以与两总体相同的方式作误判率的回代估计与交叉确认估计。 二、Bayes 判别 2.1 Bayes 判别的基本思想 Bayes 统计是现代统计学的重要分支，其基本思想是：假定对所研究的对象（总体）在抽样前已有一定的认识，常用先验分布来描述这种认识，然后给予抽取的样本再对先验认识