Introduction to PR.ppt

Introduction to Pattern Recognition 模式识别 Kun-lun Li likunlun@mail.hbu.edu.cn College of Mathematics Computer Science Hebei University 主要内容 1. Bayes 决策理论——最佳分类器 2. 概率密度估计 3. 线性判别函数 4 非线性判别函数 5. 近邻法 6. 特征的选择与提取 7. 非监督学习方法 8. 模糊模式识别方法 9. 人工神经网络模式识别 10. 统计学习理论与支持向量机 主要参考资料 Pattern classification 2nd Edition, 2001; （有中译本） R.O.Duda,at al 边肇祺,张学工. 模式识别.(第二版)2000; The nature of Statistical learning theory.2000. （有中译本） V.N. Vapnik. 模式识别及应用 科学出版社 付京荪 Syntactic Pattern Recognition and Application, K.S.Fu Pattern Recognition Principles J.T.Tom R.C.Gouzales 模式识别的概念 模式识别系统 模式识别的基本问题 模式识别的方法 模式识别的概念 人所具备的基本能力： 听到走廊里的脚步声，就知道是谁来了； 在人群中掠过一个人的背影，就知道这个人是谁；看到留言簿上的字，就会知道是谁写的； ……… 随着计算机技术的发展和普及，迫切希望计算机也能够听懂我们所说的话，看懂人们写的字，…… 模式识别的概念 模式 广义的说法：模式是一些供模仿用的、完美无缺的标本。 较为狭义的说法：模式是对人们所感兴趣的客体的定量的或结构的描述。 模式:存在于时间，空间中可观察的事物，具有时间或空间分布的信息。 模式识别的概念 模式类 模式类指的是具有某些共同属性的模式的集合。 模式识别 用计算机实 现人对各种事物或现象的分析,描述,判断,识别。模式识别是研究一些自动技术，依靠这些技术，计算机可以自动地把待识别地模式分配到各自地模式类中去。 模式识别的概念 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器 模式识别的发展简史 1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在60～70年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。 模式识别的发展简史 50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。 80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。 90年代出现了小样本学习理论，即统计学习理论(Statistical Learning theory, SLT)，做为SLT的核心算法，支持向量机(Support vector machines, SVM)也受到了很大的重视。 主要期刊和会议 1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会---“IAPR”，每2年召开一次国际学术会议。 1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。 国内的组织有电子学会，通信学会，自动化协会，中文信息学会….。 主要期刊和会议 IEEE Trans. On PAMI, NN Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation 《模式识别与人工智能》 CVPR,ICPR,ICML,COLT,NIPS,KDD,PAKDD,… 模式识别的方法 模式的描述方法： 定量的描述和结构性描述； 模式识别的方法： 统计模式识别 结构模式识别 相