模式识别课绪论.pptVIP

模式识别的应用领域 军事应用 导弹攻击目标识别 巡航导弹 拦截导弹 舰船、飞机等目标识别 模式识别的应用领域 模式识别的其它重要应用领域 信息安全 网络入侵检测 信息检索 内容标注 学习 数学式中参数的确定 人能从错误中吸取教训 利用错误提供应纠正信息，纠正分类函数 迭代过程，逐渐收敛 学习 模式识别中的学习与训练 分类器设计:求优化解的过程 (计算求解过程)从训练样本提供的数据中找出某种数学式子的最优解 (达到的效果)这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。 学习 可见分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。 直线边界 最小错误率准则:A 最小风险准则:B 学习和推广能力 学习的目的(训练的目的) 根据已知样本，得出分类规律 根据分类规律，判断未知样本 推广的能力(举一反三) 影响推广能力的因素 训练样本的多少 问题的复杂性 分类函数的选择 学习和推广能力 两种鱼的分类 Salmon Sea bass 学习和推广能力 特征1:长度特征 学习和推广能力 特征2:亮度特征 学习和推广能力 二维特征空间中的分布(直线分类函数) 分类模型简单 有分类错误 未知样本分类错误率接近于已知样本 学习和推广能力 复杂曲线分类函数 复杂的分类模型导致复杂的分类函数 对训练样本实现理想分类 对未知样本容易错误分类 推广能力差 学习和推广能力 分类器设计要平衡各种因素 决策边界应该是分类器复杂度和训练样本集合之间的权衡 对未知样本分类最准确 二.模式的紧致性 模式的紧致性 分类器设计难易程度与模式在特征空间的分布方式有密切关系 模式的紧致性 模式的紧致性 紧致性概念的说明 模式的紧致性 紧致集具有下列性质 (1)临界点的数量与总的点数相比很少。 (2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。 (3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。 对紧致性的理解 物体分布区域，不要混叠 物体的边界不能过于复杂 模式的紧致性 影响数据紧致的因素 数据本身 如手写体数字 数据描述方法 印刷体数字的网格表示 模式的紧致性 特征提取:改善数据紧致性 许多问题在量测空间表示时往往不满足紧致性 通过一种变换，使它们具有了紧致性 模式识别系统设计的任务就是要寻找这样一种变换 三 相似性度量 相似与分类 样本和模板的相似性比较 定义相似关系 给出相似关系的一般要求 集合论中的等价关系 自反 对称 可传递 相似关系不是等价关系 相似性度量 1.两个样本xi ，xj之间的相似度量满足以下要求： ① 应为非负值 ② 样本本身相似性度量应最大 ③ 度量应满足对称性 ④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数 2. 用各种距离表示相似性： 相似性度量 ①欧几里德距离 ②绝对值距离 已知两个样本 xi=(xi1, xi2 , xi3,…,xin)T xj=(xj1, xj2 , xj3,…,xjn)T 相似性度量 ③明考夫斯基距离 其中当q=1时为绝对值距离， 当q=2时为欧氏距离 相似性度量 ④ 切比雪夫距离 ⑤ 马哈拉诺比斯距离 q趋向无穷大时明氏距离的极限情况 其中xi ，xj为特征向量， 为协方差。使用的条件是样 本符合正态分布 相似性度量 ⑥ 夹角余弦 相似性度量 例： x1 , x2 , x3的夹角如图： 因为x1 , x2 的夹角小，所以x1 , x2 最相似。 x1 x2 x1 x2 x3 即样本间夹角小的为一类， 具有相似性 模式识别发展历史 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在60～70年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。 模式识别发展历史 50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。 80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。 90年代 小样本学习理论，支持向量机也受到了很大的重视。 关于模式识别的国内、国际学术组织 1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会---“IAPR”，每2年召开一