模式识别前沿讲座.pptVIP

统计模式识别(statistic pattern recognition) 　　 统计模式识别(statistic pattern recognition)的基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。 统计模式识别的主要方法有：判别函数法，近邻分类法，非线性映射法，特征分析法，主因子分析法等。 (2) 决策理论方法 通过分析具体识别对象决定选取何种特征,特征抽取后可进行分类，即从特征空间再映射到决策空间。 (3) 句法方法 又称结构方法或语言学方法。其基本思想是把一个模式描述为较简单的子模式的组合，子模式又可描述为更简单的子模式的组合，最终得到一个树形的结构描述，在底层的最简单的子模式称为模式基元。 统计模式识别的主要方法: Bayes 决策 概率密度估计（参数方法和非参数方法） 特征提取（变换）和选择 聚类分析 在 20 世纪 60 年代以前就已经成型。 由于统计方法不能表示和分析模式的结构，70年代以后结构和句法模式识别方法受到重视。但是，句法模式识别中的基元提取和文法推断（学习）问题直到现在还没有很好地解决，因而没有太多的实际应用。 [6] 模式识别领域的前沿研究方向还有：Bayes 学习、半监督学习、弱监督学习、主动学习、在线学习等。 研究计算机模式识别的目的是让机器具备人的感知和认知能力，代替人完成繁重的信息处理工作。当我们把计算机的模式识别能力与人的模式识别（视觉、听觉感知）能力相比，就会发现现有的模式识别方法与人的感知过程有很大区别，在性能上也相差很远，很多对人来说是轻而易举的事情对计算机来说却很难做到。这是由于目前对人的感知过程的机理和大脑结构还不是很了解，即使已经了解的部分也不容易在计算上或硬件上模拟。进一步研究人的感知机理并借鉴该机理设计新的模式识别计算模型和方法是将来的一个重要方向。 相关国内研究机构以及人员 二 现代模式识别技术（经典与现代） 经典发展 现代 现代：新问题 -------- 新理论与新技术 科学的本质就是继承和发展！！！ 1 基于Bayes决策理论 贝叶斯(Bayes)分类器 (Bayes公式) Fig. 1.4 Bayes分类 2 感知器算法(The Perceptron Algorithm) 决策函数 Fig.1.5 SVM分类 a) 快速求出基于边界的最优分类 b) 在凸集上求出最临近边界点 3 Support Vector Machines-SVM(支持向量机) 决策函数 Non-Separable classes(线性不可分类) 在XOR问题中，由RBF推广线性分类器形成的决策线 a) 初始空间；b)转换空间 4 Nearest neighbor (近邻分类) 修剪的近邻分类器 5 线性鉴别分析 白话：结构风险既要考虑模型的复杂度又要考虑训练误差。 （a）感知器 (b) SVM SVM与感知器分类区别 简单比复杂好 目前模式识别发展基本总结 [1] 20 世纪 80 年代 Back-propagation (BP) 算法的重新发现和成功应用推动了人工神经网络研究和应用的热潮。神经网络方法与统计方法相比具有不依赖概率模型、参数自学习、泛化性能良好等优点，至今仍在模式识别中广泛应用。然而，神经网络的设计和实现依赖于经验，泛化性能不能确保最优。 [2]90 年代支持向量机(SVM)的提出吸引了模式识别界对统计学习理论和核方法(Kernel methods)的极大兴趣。与神经网络相比，支持向量机的优点是通过优化一个泛化误差界限自动确定一个最优的分类器结构，从而具有更好的泛化性能。而核函数的引入使很多传统的统计方法从线性空间推广到高维非线性空间，提高了表示和判别能力。 [3 ]结合多个分类器的方法从 90 年代前期开始在模式识别界盛行，后来受到模式识别界和机器学习界的共同重视。多分类器结合可以克服单个分类器的性能不足，有效提高分类的泛化性能。这个方向的主要研究问题有两个：给定一组分类器的最佳融合和具有互补性的分类器组的设计。其中一种方法，Boosting，现已得到广泛应用，被认为是性能最好的分类方法。 （一个不行多个如何呢？三个臭皮匠顶个诸葛亮） 进入 21 世纪，模式识别研究的特点 [1] Bayes 学习理论 新发展 -基于图表示的Bayes分类,模型参数同时调整。 [2]传统的问题新解，如概率密度估计、特征选择、聚类等不断受到新的关注，新的方法或改进/混合的方法不断提出。 [3]模式识别领域和机器学习领域的相互渗透越来越明