实验1Fisher线性判别实验.docVIP

实验Fisher线性判别实验 实验目的应用统计方法解决模式识别问题的困难之一是维数问题，低维特征空间的分类问题一般比高维空间分类问题简单。因此，人们力图将特征空间进行降维，降维的一个基本思路是将d维特征空间投影到一条直线上，形成一维空间，这在数学上比较容易实现。问题的关键是投影之后原来线性可分的样本可能变为线性不可分。一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分。如何确定投影方向使得降维以后，样本不但线性可分，而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布）就是Fisher线性判别所要解决的问题。本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。 二、实验1、改写例程，编制用Fisher线性判别方法对三维数据求最优方向W的通用函数。2、对下面表-1样本数据中的类别ω1和ω2计算最优方向W。3、画出最优方向W的直线，并标记出投影后的点在直线上的位置。-1 Fisher线性判别实验数据4、选择决策边界实现新样本xx1=（-0.7,0.58,0.089），xx2=（0.047,-0.4,1.04）的分类。5、设某新类别ω3数据如表-2所示，用自己的函数求新类别ω3分别和ω1、ω2分类的投影方向和分类阈值。表-2 新类别样本数据 三、参考例程及其说明求取数据分类的Fisher投影方向的程序如下：其中w为投影方向。lear % Removes all variables from the workspace. clc % Clears the command window and homes the cursor. % w1类训练样本，10组，每组为行向量。 w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;... 0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063]; % w2类训练样本，10组，每组为行向量。 w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;... -0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49]; xx1=[-0.7,0.58,0.089]; % 测试数据xx1，为列向量。 xx2=[0.047,-0.4,1.04]; % 测试数据xx2，为列向量。 s1= cov(w1,1); % w1类样本类内离散度矩阵 m1= mean(w1); % w1类样本均值向量，为列向量 s2= cov(w2,1); % w2类样本类内离散度矩阵 m2= mean(w2); % w2类样本均值向量，为列向量 sw=s1+s2; % 总类内离散度矩阵 w= inv(sw)*(m1-m2); % 投影方向 y0=(w*m1+w*m2)/2; % 阈值y0 figure(1) for i=1:10 plot3(w1(i,1),w1(i,2),w1(i,3),r*) hold on plot3(w2(i,1),w2(i,2),w2(i,3),bo) end z1=w*w1; z2=w*w2; figure(2) for i=1:10 plot3(z1(i)*w(1),z1(i)*w(2),z1(i)*w(3),rx) hold on plot3(z2(i)*w(1),z2(i)*w(2),z2(i)*w(3),bp) end hold off y1=w*xx1; if y1y0 fprintf(测试数据xx1属于w1类\n); else fprintf(测试数据xx1属于w2类\n); end y2=w*xx2; if y2y0 fprintf(测试数据xx2属于w1类\n); else fprintf(测试数据xx2属于w2类\n); end 程序运行结果如图-1和图-2所示。图 -1 原始数据分布图图 -2 线性投影后图形思考问题：空间中一点向某方向投影后（可以以二维空间为例体会这个问题），投影点到坐标原点的距离应是多少？ 四、实验报告要求1、描述自己对投影方向的理解；2、写出改编的通用函数程序；3、记录实验过程结果，并分析