模式识别（李春权）第6章 特征的选择和提取.pptVIP

(C) Vipin Kumar, CSci 5980 Data Mining, Spring 2004 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 模式识别: 特征的选择和提取 目录 6.1引言 6.2 类别可分离性判据 6.3 特征提取 6.4 特征选择(重点) 6.1 引言 特征的选择与提取是模式识别中重要而困难的一个环节： 分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步 降低特征维数在很多情况下是有效设计分类器的重要课题 特征的选择与提取简述 两类提取有效信息、压缩特征空间的方法：特征提取和特征选择 特征提取 (extraction)：用映射（坐标变换）的方法把原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最好的特征 特征的选择与提取举例 细胞自动识别： 原始测量： 细胞的数字图像 原始特征： 细胞面积，胞核面积，形状系数，光密度，核内纹理，和浆比 压缩特征：原始特征的维数很高，需压缩以便于分类 特征选择：挑选最具分类信息的特征 挑选两个好的特征：胞核面积、光密度 特征提取：坐标变换 产生两个新的特征，它们由原始特征的变换得到 特征选择？特征提取？ 哪种方法更适用于我们专业？ 生物相关的问题，往往需要真实的特征。 例如：基因芯片中的特征为基因： 特征选择将得到有代表性的重要基因，这些特征基因是真实的。 特征提取将从原始特征得到新的特征，这些特征不能称为特征基因。 特征选择？特征提取？ 哪种方法更适用于我们专业？ 目录 6.1引言 6.2 类别可分离性判据 6.3 特征提取 6.4 特征选择(重点) 6.2 类别可分离性判据 类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则 理想准则：某组特征使分类器错误概率最小 实际的类别可分离性判据应满足的条件： 度量特性： 与错误率有单调关系 当特征独立时有可加性： 单调性： 常见类别可分离性判据：基于距离、概率分布、熵函数 准则函数例子 准则函数例子 其它可分性判据 基于概率的可分性判据：用概率密度函数间的距离来度量 目录 6.1引言 6.2 类别可分离性判据 6.3 特征提取 6.4 特征选择(重点) 此时， 对 求导，令 得变换w为： 的特征值 按大小顺序排列为 则选前r个特征值对应的特征向量作为w。 即 目录 6.1引言 6.2 类别可分离性判据 6.3 特征提取 6.4 特征选择(重点) 经典特征选择算法 许多特征选择算法力求解决有哪些信誉好的足球投注网站问题，经典算法有 单独最优特征组合法、后退法、前进法(重点) 分支定界法 模拟退火法(重点) Tabu禁忌有哪些信誉好的足球投注网站法 遗传算法(重点) 穷举法 由原始的D维空间降到d维空间问题。 一共有q=CDd种特征组合结果。 D=20，d=10时，q= D=100，d=10时，q= 穷举法（最优方法）：一定能找到最优解 如果计算每组特征组合的J值，然后选择J值最优的特征组合，往往非常耗时。计算量上无法承受。 怎样减少计算时间？ 使用一些次优方法，以大大减少计算时间。 为什么有如此多的特征选择算法？ 没有哪个算法能够保证兼顾运算时间又能得到更优的解。 单独最优特征组合 计算各特征单独使用时的可分性判据J并加以排队，取前d个作为选择结果 特征选择结果（取前d个） 不一定是最优结果 当可分性判据对各特征具有可加性（各特征独立），该方法可以选出一组最优的特征来，例： 顺序前进法 顺序前进法（ Sequential Forward Selection ，SFS）是一种自下而上的有哪些信誉好的足球投注网站方法，它从0个特征开始每次增加一个特征，所增加的特征应使它与已入选的特征组合在一起所得J值为最大，直到特征数增加到d为止。 设已选入了k个特征构成了一个大小为k的特征组Xk，把未入选的D-K个特征xj，j=1,2,…,D-k,按与已入选特征组合后的J值大小排列： 若 则下一步的特征组选为Xk+1=Xk+x1 顺序前进法考虑了所选特征与已入选特征之间的相关性，一般来说比单独方法好。 主要缺点是一旦某特征已选入，即使由于后加入的特征使它变为多余，也无法再把它剔除。 广义顺序前进法 把SFS法推广为每次不止增加一个特征而是增加L个特征，就成为广义顺序前进法（Generalized Sequential Forward Selection, GSFS）。即每次从未入选的特征中选择出L个特征，使得这r个特征加入后J值达最大。 GSFS法计