模式识别样卷参考解答.docVIP

实验一、基于感知函数准则线性分类器设计 1.1 实验类型： 设计型：线性分类器设计（感知函数准则） 1.2 实验目的： 本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。 1.3 实验条件： matlab软件 1.4 实验原理： 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为： 任意给定一向量初始值，第k+1次迭代时的权向量等于第k次的权向量加上被错分类的所有样本之和与的乘积。可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量和系数。 1.5 实验内容 已知有两个样本空间w1和w2，这些点对应的横纵坐标的分布情况是： x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3]; x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0]; 在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)） 1.6 实验任务： 用matlab完成感知准则函数确定程序的设计。 请确定sample=[(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1), (1,1),(-0.5,-0.5),( 0.5,-0.5)];属于哪个样本空间,根据数据画出分类的结果。 请分析一下和对于感知函数准则确定的影响，并确定当=1/2/3时，相应的k的值，以及不同时，k值得变化情况。 根据实验结果请说明感知准则函数是否是唯一的，为什么？  实验二、基于Fisher准则线性分类器设计 2.1实验类型： 设计型：线性分类器设计（Fisher准则） 2.2实验目的： 本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrande乘子求解的原理。 2.3实验条件： matlab软件 2.4实验原理： 线性判别函数的一般形式可表示成　　 其中 根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为： 　　 　　上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中式一个向量，是的逆矩阵，如是d维，和都是d×d维，得到的也是一个d维的向量。　　向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量 的计算方法，但是判别函数中的另一项尚未确定，一般可采用以下几种方法确定如 　　　 或者　　　 　　　　　　或当与已知时可用 　　　　　 …… 　当W0确定之后，则可按以下规则分类，　 　　　　　　　使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。 2.5实验内容： 已知有两类数据和二者的概率已知=0.6， =0.4。 中数据点的坐标对应一一如下： 数据： x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 y = 2.3385 2.1946 1.6730 1.6365 1.7844