模式识别-第10讲-特征的选择与提取2［PPT课件］.pptVIP

y1 y2 y3 yD o x1 x2 xd o 特征提取 D d Y空间 D 维 原始特征集 Y空间 d 维 新特征集 变换 确定变换的依据:类别可分性判据 目标: 在新的特征空间中, 各类之间容易区分. §2 特征提取 根据前面提到的类别可分离性判据。我们可以依据这些判据进行特征的提取。 设原特征向量 ，对 作线性变换，产生 d 维向量 ， ，即 矩阵 称为特征提取矩阵或变换矩阵， 称为二次特征。 ① s阶Minkowski度量 多维空间中两个向量之间有多种距离度量 ② 欧氏距离 在Minkowski度量中，令s=2，得到常用的欧氏距离： 1. 按欧氏距离度量的特征提取方法 ③ Chebychev距离: 棋盘距离 ④ Mahalanobis距离: 式中Q是给定的正定标尺矩阵 在实际应用中，在计算的复杂性方面，在是否便于进行解析分析以及用它进行特征提取的效果方面都各不相同。由于欧氏距离在很多情况下便于分析和计算. 前面已经推导出了基于欧氏距离的一种度量函数， 其中Sb为类间离散度矩阵,Sw为类内离散度矩阵. 同样的，我们还可以提出下面各种判据： 以J2为例, 特征提取的步骤如下 ① 作线性映射： 其中Y为D维原始特征向量；X为d维压缩后的特征向量 ② 令 其中Sw，Sb为原空间（即Y的）离散度矩阵，S*w，S*b 为映射后（即X的）离散度矩阵。 ③ J2的表达式为： ④ 求变换矩阵W, 使 J2（W）最大 将上式对W的各分量求偏导数并令其为零,可以确定一个W，从而得到使判据达最大的变换W ⑤ 新特征集为 其中Y为原始特征集(D维), X为新特征集(d 维) 注: W的计算（适用于J2—J5判据）： 则选前d 个特征值对应的特征向量作为W，即： W=[u1, u2, …… , ud ] 此时 2. 基于判别熵最小化的特征提取 上节中讨论了用熵作为不确定性的一种度量的表达式，这里我们引入判别熵 W(p, q) 来表征两类分布 p(xi) 和 q(xj) 差别大小, 令： 对于特征提取来说，我们应该求得一组特征，它使上述判别熵最小。 计算步骤如下: ① A=G1-G2, G1，G2分别是第一类样本集和第二类样本集的协方差矩阵 Y为所要求的一组特征，它使得判别熵最小 ③ 新特征集为 ② 将矩阵A的特征值进行排序 选取前d个特征值对应的特征向量构成变换矩阵 W=[ U1，U2，……，Ud ] 3. 两维显示 人的经验和直观对分类有很大作用，如果能将各样本在特征空间的分布情况显示出来，我们可以直接观察哪些样本聚集在一起，因而可能属于一类。 最好能把原来的高维特征空间映射到二维平面上显示出来，这一映射要尽可能的保持原来样本的分布情况，或者尽量使各样本间相互距离关系保持不变. 上述所讨论的各种变换方法有利于我们解决这样一种两维显示的任务. ① 线性映射 两维显示只不过是前面所涉及的各种映射(线性)的一种特殊情况,即d=2 ② 非线性映射 对一些比较复杂的样本, 线性映射常不能满足上面所提的保持分布不变的要求,可以用非线性映射替代 设映射前两点间距离为D，映射后该两点间距离为D* . 希望映射后D*尽可能等于D. 令 e =D–D*为任意两点映射前后距离之差，我们要选择映射函数 f使e的函数值达最小. 由于非线性映射比较复杂，一般情况下是用迭代算法。即选一个x的初值，再逐步调整（每次调整的方向应使误差减小），直到满足一个停止准则（例如，误差小于给定值，迭代次数超过预定次数，或显示结果已满足观察者要求为止). 本节课结束 谢谢大家！ 1 设有两类三维样本，都服从正态分布，且样本均值和协方差矩阵分别为： 1). 计算其类可分性散度判据JD的值 2). 利用基于类内类间距离的判据 进行最优特征提取。 2 设样本均值为（1，2），样本的协方差矩阵和相关矩阵分别为： 计算分别用Σ和R计算得到的主成分，并说明其差异。 4. 基于主成分变换的特征提取方法 在实际问题中, 研究多变量问题是经常遇到的，然而在多数情况下, 不同指标之间是有一定相关性。由于指标较多, 再加上指标之间有一定的相关性，势必增加了分析问题的复杂性. 主成分分析就是设法将原来指标重新组合成一组新的相互无关的几个综合指标来代替原来指标, 同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。 这种将多个指标化为少数相互无关的综合指标的统计方法叫做主成分分析（Principa