模式识别导论要点分析.ppt

* 西安电子科技大学计算机学院 * 4. 基元（链码）表示： 在右侧的图中八个基元 分别表示0，1，2，3， 4，5，6，7，八个方向 和基元线段长度。 则右侧样本可以表示为 X1=006666 这种方法将在句法模式识 别中用到。 * 西安电子科技大学计算机学院 * 二.模式类的紧致性 1. 紧致集：同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称紧致集。 * 西安电子科技大学计算机学院 * 2. 临界点(样本)：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。 内点：样本值有微小变化时不会改变它所属的集合 3. 紧致集的性质 ① 临界点的数量与总的点数相比很少 ② 同一类内的任意两点的连线上的点仍属于同 一类 ③ 集合内的每一个点都有足够大的邻域,在邻域内只包含同一集合的点 4. 模式识别和模式类的紧致性：若模式类具有紧致性，分类就不会有什么原则上的困难；反之，只要各个模式类是可分的，理论上总存在一个空间，使变换到这个空间上的集合满足紧致性要求。寻找这一变换依赖于具体问题，没有统一的理论和方法。 * 西安电子科技大学计算机学院 * 三.相似与分类 1.两个样本xi ，xj之间的相似性度量δ(xi ，xj)满足以下要求： ① 应为非负值，即 ② 样本本身相似性度量应最大 ③ 度量应满足对称性，即 ④ 在模式类满足紧致性的条件下，相似性应该是点间距离的单调函数 2.目前得到广泛应用的相似性度量是空间中定义的某种距离，已知两个样本 * 西安电子科技大学计算机学院 * ① 绝对值距离： ② 欧几里德距离 ③明考夫斯基距离 其中当q=1时为绝对值距离，当q=2时为欧氏距离 * 西安电子科技大学计算机学院 * ④ 切比雪夫距离 q趋向无穷大时明氏距离的极限情况 ⑤ 马哈拉诺比斯距离 其中xi ，xj为特征向量， 为协方差。使用的条件是 样 本符合正态分布 在以上情况下，可以选择某个随距离增加而单调下降的函数f作为相似性度量，即 * 西安电子科技大学计算机学院 * 3.在有些情况下，可以用两个向量之间的夹角余弦来度量相似性 样本间夹角小的为一类，具有相似性 例： x1 , x2 , x3的夹角如图： 因为x1 , x2 的夹角小，所以x1 , x2 相似度最高。 x5 x4 x1 x2 x3 * 西安电子科技大学计算机学院 * ⑦ 相关系数 为xi xj的均值 注意：在求相关系数之前，要将数据标准化 3. 分类的复杂性：不存在纯客观的分类标准 分类带有主观性：目的不同，分类不同。例如：鲸鱼，牛，马从生物学的角度来讲都属于哺乳类，但是从产业角度来讲捕鲸属于水产业，牛和马属于畜牧业。 虽然科学的传统是追求客观性的，但模式识别本来是大脑中的功能，其主观性是不可避免的 分类问题不是单纯的数学问题，还需要生物学的观点 * 西安电子科技大学计算机学院 * 特征是决定相似性与分类的关键，当分类的目的决定之后，如何找到合适的特征就成为认知与识别的核心问题 从输入的原始信息得到特征通常需要复杂的非线性运算，直接找到这种算法是很困难的 因此可以用仿生学的观点，模仿人和动物对感觉信息的处理过程中由简单到复杂逐层提取特征的方法，利用低层次的特征生成新的高层次的特征 四.特征的生成 特征的分层 1.底层特征：直接处理输入信息得到的特征，如视觉信息，听觉信息 ①无序尺度：有明确的数量和数值。 ②有序尺度：有先后、好坏的次序关系，如酒分为上，中，下三个等级。 ③名义尺度：无数量、无次序关系，如有红，黄两种颜色 2. 中层特征：在底层特征的基础上经过计算，变换得到的特征，作为高层特征的基础，相比于高层特征，更重视通用性，一般不服务于具体目的和行为 3. 高层特征：在中层特征的基础上有目的的经过运算形成，比较具体和专门化，服务于具体的目的和行为 例如：椅子的重量（高层）=体积（中层）*比重（中层） 体积与长，宽，高（底层）有关；比重与材料有关，可通过纹理，颜色（底层）等来推断。这里底、中、高三层特征都有了。 * 西安电子科技大学计算机学院 * * A.K. Jain是密歇根州立大学计算机科学与工程系教授，其研究兴趣包括统计模式识别、数据聚类、文本分析、文本图像理解与生物特征认证等 训练样本的完美分类 * 西安电子科技大学计算机学院 * 推广能力问题（Generalization） 分类器设计的核心目标是实现对未知样本的正确分类，也就是要有好的推广能力。 而一个过于复杂的决策界面一般来