加权MMC函数与广义FLD准则函数的最优鉴别向量集.docVIP

 PAGE 4 加权MMC函数与广义FLD准则函数的最优鉴别向量集 1．引言 在模式识别问题中，Fisher线性鉴别(FLD)准则与最大间距准则(MMC)是两种有效的模式特征提取方法，它们都是希望寻找最佳的投影方向对原始数据进行投影，使投影后所得数据的类间离散度达到最大而类内离散度达到最小，投影后所得数据就是所需的模式特征。MMC最早由常用如下的加权MMC函数来表示()： 　　　　　　　 (1) FLD准则常用如下的广义FLD准则函数来表示： 　　　　　　　　　　　　　　　(2) 最大化函数或可得由多个投影向量组成的投影矩阵，投影向量也称为鉴别向量，在实际应用中一般总是将鉴别向量单位化，即 ()，单位化向量集合常称为鉴别向量集[4]。最大化的方法是特征值分解或广义特征分解，最大化的方法是迭代法。Guo、Yan和Wang都曾给出最大化的迭代算法，但Wang的算法是最佳的。 目前人们使用的鉴???向量集主要有两种：一是鉴别向量之间满足正交性，即()，称之为正交鉴别(OD)向量集；另一种是鉴别向量之间满足()，它能使投影后所得数据之间具有统计不相关性，因此称之不相关鉴别(UD)向量集，其中是样本总体协方差阵。实际上，OD向量集是准则函数在正交条件下的最优解，UD向量集是准则函数在不相关性条件下的最优解。这说明，在最大化准则函数时需附加一定的条件，更为一般的附加条件为 　　() 　　　　　　　 (3) 其中为正定阵。显然OD向量集与UD向量集分别是和的两种特例。 对某个准则函数来说，不同的可得到不同的鉴别向量集，因此一个准则函数可有无穷多种鉴别向量集。现在的问题是，在这无穷多种鉴别向量集中，哪种鉴别向量集能使准则函数值达到最大？能使准则函数值达到最大的鉴别向量集称为该准则函数的最优鉴别向量，本文将主要讨论上述两种准则函数的最优鉴别向量集。 当小样本问题出现时，对于准则函数，Yang[9]从理论上证明了用PCA方法将原始高维样本降到维时不会有鉴别信息的损失（为训练样本量）。不难证明，这个结论也同样适于准则函数或。实际上，由于噪声的存在，并非降到维最好，因此为使讨论更具一般性，以下假定满秩，，, ，其中是样本类别数。由于UD向量集中鉴别向量集最多只有个，所以以下也假定。 2　加权MMC函数的最优鉴别向量集 准则函数满足条件(3)的鉴别向量集是相对于的前个最大广义特征值所对应的单位广义特征向量，特别地，准则函数的OD向量集是矩阵的前个最大特征值所对应的单位正交特征向量。 先给出几个引理： 引理1　设为两个阶对称矩阵，，，是相对于的广义特征值所对应的单位广义特征向量矩阵，广义特征值从大到小排列，则 ，　　　　　　　 (4) 其中为对角阵。 引理2　设为阶对称矩阵，为其前个最大特征值所对应的单位正交特征向量矩阵，则对于任意列正交矩阵，有 　　　　　　　　　　　　　　　　　　　 　 (5) 　　引理3　设为阶正定阵，，则 　　　　　　　　　　　　　　（）　　　　　　　 (6) 定理1　准则函数的最优鉴别向量集是其OD向量集。即 (7) 证明：设 ，　　　　 (8) 则是相对于的前个最大广义特征值所对应的单位广义特征向量矩阵，是矩阵的前个最大特征值所对应的单位正交特征向量矩阵。 　　设是相对于的所有广义特征值所对应的单位广义特征向量矩阵，特征值从大到小排列，则的前列就是，由引理1， 　　　　　　 , (9) 其中对角阵，。需注意的是，对角元并非是相对于的广义特征值。对实施QR分解，即，其中是列正交矩阵，是上三角阵。对进行分块，则 ，　　　　　　　　(10) 其中为阶方阵。由于的各个列都是单位向量，所以的对角元全为1，从而的对角元也全为1。于是，由式(9)和引理2、引理3可得 # 　　这说明准则函数的OD向量集能使达到最大，因而在理论上OD向量集是加权MMC的最佳选择。当然，参数不同，所得的最优鉴别向量集也不同。 3　广义FLD准则函数的最优鉴别向量集 Guo、Yan和Wang都曾揭示过广义FLD准则函数与加权MMC函数之间的关系，这个关系可用下面的引理来描述： 引理5　设 ，，则 　　 　　 (11) 证明：采用反证法。假设存在，在条件(3)下，使得 　　　　　　　　 (12) 由的含义知，式(12)的右边等于0。于是有 　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 (13) 这与是()和的条件下的最大值