模式识别总复习.pptVIP

模 式 识 别Pattern Recognition 吴贵芳 easyfancy@126.com 总复习 考试相关事项 1. 严格考试纪律，注意独立思考，不要有任何武弊的念头及行为。 2. 开卷考试，每位同学带足自己的相关资料，考试过程中，只允许查看自己的资料，不允许互相转借。 3. 考试时间充足，120分钟，不用着急。 4. 题型：填空、简答与综合实验题。 主要内容 1. 掌握模式、模式识别的概念，理解模式识别系统构成的三个单元、基于统计模式识别系统的4个主要构成部分、模式识别系统设计的五个步骤等。 2. 理解贝叶斯决策的含义，掌握关键名词的意义，比如风险、先验概率、后验概率、损失、损失函数等，能正确利用贝叶斯决策判断模式类别，。 主要内容 3. 理解概率密度函数估计的相关内容，重点掌握参数估计的过程，包括非监督参数估计和监督参数估计，能计算贝叶斯估计和最大似然估计。 4. 掌握特征的概念，知道特征提取以及特征选择的含义以及异同，能熟练利用K-L变换进行降维操作。 主要内容 5. 掌握线性判别的含义、分类原理等，能利用不同的方法对两类问题进行分类判别，尤其需要掌握Fisher判别的原理及步骤，能对线性样本进行分类。 6. 掌握非监督学习方法的概念及用途，了解非监督学习方法的两种基本方法，知道投影法的原理。重点掌握K-Means算法的原理及过程，能熟练使用该算法对数据进行分类。 主要内容 7. 了解人工神经网络的概念及历史，能熟练分析人工神经元模型及其工作全过程，掌握基本的人工神经网络算法，重点掌握BP神经网络算法的实现过程，能利用人工神经网络对现实生活中的具体系统进行设计与实现。 8. 掌握模糊集的相关概念，包括模糊集、隶属函数、隶属度、台、独点集、水平集等，能对模糊集进行并集、交集、补集的操作，并能利用水平集进行模糊模式分类。 主要内容 9. 掌握统计模式识别的基本思想，理解SVM算法的原理，知道三种最基本的核函数构造方法，能熟练使用libSVM算法进行模拟实验。 10. 能将模式识别的相应方法用于生产实践，懂得分析、设计的全过程。 例题讲解 3.1 设总体分布密度为 并设 分别用最大似然估计 和贝叶斯估计计算 已知 的先验分布： 3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布： 3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布： 第三步：根据新分成的两类建立新的聚类中心 第四步： ∵ 转第二步。 第二步：重新计算 到z1(2) , z2(2) 的距离，把它们归为最近聚类中心，重新分为两类， 第三步，更新聚类中心 第四步， 第二步， 第三步，更新聚类中心 Pattern Recognition * 2.4 分别写出在以下两种情况 （2） 下的最小错误率贝叶斯决策规则。 （1） 贝叶斯决策规则： 其中, （1） （2） 1 最大似然估计 解： 对数似然函数 似然函数 1 最大似然估计 解： 对数似然函数 1 最大似然估计 解： 对数似然函数 1 最大似然估计 对数似然函数 对数似然函数求导 求 最大似然估计: =0 解： 2 贝叶斯估计 解： 求解贝叶斯估计量的步骤： (1)确定u的先验分布： (2)由样本集求出样本联合分布： (4) 由定理3.1求贝叶斯估计量 (3)利用贝叶斯公式，求出u的后验分布： 2 贝叶斯估计 解： 求解贝叶斯估计量的步骤： (1)确定u的先验分布： (2)由样本集求出样本联合分布： (4)由定理3.1求贝叶斯估计量 (3)利用贝叶斯公式，求出u的后验分布： 吸收与u无关的因子 解： 2 贝叶斯估计 ——二次函数的指数函数 解： 2 贝叶斯估计 把 写成 ，即： 即为贝叶斯估计 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 解：先计算后验概率： 举例:四个样本 用K-L变换降维(维数为1,四个样本) 解: 1.求协方差矩阵 u1 u2 2. 协方差矩阵的本征值及本征向量 x1 x2 3.求新的变换矩阵，新的特征空间 保留?1舍弃?2 ?? u1 u2 y1 y2 y3 y4 4.计算特征变换所引起的均方误差 上述