模式识别（7-1）特征的选择与提取.pptVIP

各种距离度量 ② 绝对值距离（城市距离、棋盘距离） ① s阶明考夫斯基距离 ③ 欧几里德距离 已知两个样本 Xi=(Xi1, Xi2 , Xi3,…,Xin)T Xj=(Xj1, Xj2 , Xj3,…,Xjn)T 利用判据J2进行特征提取的步骤： 使判据J2， J3， J4， J5最大的变换W 例题： * 模式识别 第七章特征的选择与提取(1) 模式识别系统： §7.1 基本概念 前几章主要讨论模式识别的重要概念，如贝叶斯分类器、线性分类器等。在讨论这些设计分类器的方法时，提到有一个样本集，样本集中的样本用一个已经确定的向量来描述。 例：对苹果与梨分类 ? 尺寸、重量和颜色三种度量。 即对要分类的样本怎样描述这个问题是已经确定的。在这种条件下研究分类器设计问题是一个选择什么准则、使用什么方法，将已确定的d维特征空间划分成决策域的问题 。 §7.1 基本概念 本章要讨论的问题是对已有的特征空间进行改造，着重于研究对样本究竟用什么样的度量方法更好。 对分类器设计来说，使用什么样的特征描述事物，也就是说使用什么样的特征空间是个很重要的问题。这个问题称之为描述量的选择问题，即保留哪些描述量，删除哪些描述量的问题。 由于对特征空间进行改造目的在于提高其某方面的性能，因此又称特征的优化问题。 §7.1 基本概念 核心：如何构造一个特征空间，即对要识别的事物用什么方法进行描述、分析的问题。 对一个具体问题来说，有以下几个不同的层次： 1．物理量的获取与转换： 指用什么样的传感器获取电信号，如摄取景物则要用摄像机，文字与数字识别首先要用扫描仪等设备。这些都属于物理量的获取，并且已转换成电信号，为计算机分析打下了基础。 对从传感器中得到的信号，可以称之为原始信息，因为它要经过加工、处理才能得到对模式分类更加有用的信号。 §7.1 基本概念 特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征 实例： 数字图象中的各像素灰度值 人体的各种生理指标 原始特征分析： 原始测量不能反映对象本质 高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏 §7.1 基本概念 2.描述事物方法的选择与设计 获得原始信息之后，要对其进一步加工，以获取对分类最有效的信息。关键在于设计所要信息的形式。 例：对阿拉伯数字的识别可以提出各种不同的想法： 分析从框架的左边框到数字之间的距离变化反映了不同数字的不同形状，这可以用来作为数字分类的依据。 强调分析不同截面的信号，如在框架的若干部位沿不同方向截取截面分析从背景到字，以及从字到背景转换的情况。如AB截面切割字符三次，CD截面切割字符一次等。 §7.1 基本概念 设计对事物的描述方法是充分发挥设计者智慧的过程，这个层次的工作往往因事物而易，与设计者本人的知识结构也有关。 这个层次的工作是最关键的，但因为太缺乏共性，也不是本章讨论的内容。 §7.1 基本概念 3．特征空间的优化 本层次工作发生在已有了特征的描述方法之后，也就是已有了一个初始的特征空间，如何对它进行改造与优化的问题。 要对初始的特征空间进行优化是为了降维。即初始的特征空间维数较高。能否改成一个维数较低的空间，称为优化，优化后的特征空间应该更有利于后续的分类计算，这就是本章着重讨论的问题。 §7.1 基本概念 对特征空间进行优化有两种基本方法： 特征选择：删掉部分特征； 特征的组合优化：要通过一种映射，也就是说新的每一个特征是原有特征的一个函数。 假设已有D维特征向量空间 ，则所谓特征选择是指从原有的D维特征空间，删去一些特征描述量，从而得到精简后的特征空间。在这个特征空间中，样本由d维的特征向量描述： ，d＜D。由于X只是Y的一个子集，因此每个分量xi必然能在原特征集中找到其对应的描述量xi＝yj。 §7.1 基本概念 而特征提取则是找到一个映射关系：A:Y→X；使新样本特征描述维数比原维数降低。其中每个分量xi是原特征向量各分量的函数，即 　 。 因此这两种降维的基本方法是不同的。在实际应用中可将两者结合起来使用，比如先进行特征提取，然后再进一步选择其中一部分，或反过来。 特征的选择与提取 两类提取有效信息、压缩特征空间的方法：特征提取和特征选择 特征提取 (extraction)：用映射（或变换