模式识别特征的选择和提取剖析.pptVIP

和前面一样，令{uj，j = 1，2，…，n}是观测空间的标准正交基。另x是任一观测向量,x~是它的截尾表示形式， x~ = y1u1 + y2u2 + … + ymum  对于第i类，我们选择一组uj，它能使第i类的均方误差最小， εi = Ei[|x-x~|2] =  （*） 而同时使其它类的均方误差最大。?  εk = Ek[|x-x~|2] =   (k = 1，2，…，c，k≠i) (**) 单独使εi最小，而不管上式的条件已在前面讨论过。 若同时也满足（**）式的条件，将使得所选择的基能最优的表示第i类，但不能最优的表示其它类。 由于一般不能同时使εi最小，而εk最大，下面引入另外一个相关的准则。 和7.2节一样，可以表示 εk = ，k=1，2，…，c  由于Ri是半正定的，且λmax≤1， ∴ εk的大小为下式限定： 0≤ εk≤n-m， k =1，2，…,c 这样，使（**）式最大等价于使下式最小（k≠i） (n－m)－εk = = εk = Ek[|x-x~|2] = (k = 1，2，…，c，k≠i) (**) 最大?k（k≠i，k=1，2，…,c）和最小?i的准则可以写成下面的组合形式，并用类数标准化。  Ci=  把?i = 和（n－m）－?k的表达式代入，有 Ci =  式中，Gi= (*)  上式的准则在形式上和7.2节讨论的一样。 ∴为了选取m个特征向量ui来表示x~,以使Ci最小，这时的特征向量应是Gi 的最大的m个特征值所对应的特征向量。 下面的分析说明确实是这样。假定e是Gi的标准特征向量，那么相应特征值λ可以表示为 λ= eTGie =   由于λmax≤1和相关矩阵的半正定性质，∴上式括号中每一个二次项的特征值在0～1之间，∴ 0≤λ≤1。 而且λ接近于1时要求eTRie→1,而eTRke(k≠i)却→0， 这样，Gi的相应于特征值接近1的特征向量对应着i类最重要的特征。 当e = 2 时，（*）式变为 G1 + G2 = I 这和两类时的情况相似，G1 和 G2 的特征向量相同，其特征值间的关系和变换后的矩阵R1’ 、R2’时的一样。 当C＞2时，情况就复杂了。 上述的方法还可以进一步简化。 可以把相关矩阵进行变换，使它满足 = = I  线性变换S的推导和上节一样。当使用变换后的相关矩阵时， Gi简化为 Gi’= 1/c [2 Ri’ +(C－2)I] 当C = 2时，Gi’= Ri’，和前面的结果相同。 7.4 图像特征抽取的奇异值分解法 一幅图像可以表示为按一定顺序排列的像素的一个阵列（矩阵）。 假定阵列有N行N列，这时观测向量就由N2个像素的灰度值组成。由于观测向量的维数很大，我们希望用（抽取）图像的特征来表示图像。 图像特征抽取的方法有许多种。例如从二维频率谱中抽取特征。 这一节我们讨论由一组基图像的加权和表示图像的方法，这种方法和前面讨论过的利用特征值的特征抽取的方法很相似。 假定图像是用一个N×N的矩阵B表示的，B的元素表示像素的灰度值。考虑两个N×N的标准正交矩阵U和V，矩阵B可以变换为另一矩阵A， A = UTBV 由于U和V是标准正交的，所以信息并无损失。B可以通过下式（***）  B = UAVT =   式中aij 是A的元素，Ui、Vj 是U和V的列向量。 由于每一UiVjT都是一个N×N矩阵，所以上式可以看作B图像在一组基图像下的展开，而aij是展开时的系数。 特征抽取的思路是找一组基（图像），从而可以用少数n个系数aij来表示原图像。这时的图像B是上式的截尾形式。而aij即它的特征。Hadamard、Harr和Fourier变换都可以实现这一目的。 下面要介绍的奇异值分解是另外一种方法。它使得矩阵A的元素只有对角线的元素非零。在这种基图像下，原图像只要用N个（或更少）的系数就可以表示了。 考虑下面的矩阵的积 BBT=UAVT .VATUT=UAATUT 容易证明，BBT是对称的和半正定的。因此它