模式识别特征的选择和提取.pptVIP

*2.?C类时的情况 现在考虑将模式分为C类时的特征提取问题。

模式原来是用n维测量空间的向量x来表示的。每类的相关矩阵为Ri=Ei[xxT]

假定各个相关矩阵的最大特征值λmax≤1，这并不失一般性，可以通过调整线性空间的比例来实现。

又由于相关矩阵是半正定的，∴各Ri的特征值在0～1之间。

第31页，共62页，星期日，2025年，2月5日 和前面一样，令{uj，j=1，2，…，n}是观测空间的标准正交基。另x是任一观测向量,x~是它的截尾表示形式，

x~=y1u1+y2u2+…+ymum

对于第i类，我们选择一组uj，它能使第i类的均方误差最小，

εi=Ei[|x-x~|2]=

（*）

第32页，共62页，星期日，2025年，2月5日 而同时使其它类的均方误差最大。

?

εk=Ek[|x-x~|2]=

(k=1，2，…，c，k≠i)(**)

单独使εi最小，而不管上式的条件已在前面讨论过。

若同时也满足（**）式的条件，将使得所选择的基能最优的表示第i类，但不能最优的表示其它类。

由于一般不能同时使εi最小，而εk最大，下面引入另外一个相关的准则。

第33页，共62页，星期日，2025年，2月5日 和7.2节一样，可以表示

εk=，k=1，2，…，c

由于Ri是半正定的，且λmax≤1，

∴εk的大小为下式限定： 0≤εk≤n-m，k=1，2，…,c

这样，使（**）式最大等价于使下式最小（k≠i）

(n－m)－εk==εk=Ek[|x-x~|2]=(k=1，2，…，c，k≠i)(**)第34页，共62页，星期日，2025年，2月5日 最大?k（k≠i，k=1，2，…,c）和最小?i的准则可以写成下面的组合形式，并用类数标准化。

Ci=

第35页，共62页，星期日，2025年，2月5日 把?i=和（n－m）－?k的表达式代入，有Ci=

式中，Gi=(*)

上式的准则在形式上和7.2节讨论的一样。

∴为了选取m个特征向量ui来表示x~,以使Ci最小，这时的特征向量应是Gi的最大的m个特征值所对应的特征向量。

第36页，共62页，星期日，2025年，2月5日 下面的分析说明确实是这样。假定e是Gi的标准特征向量，那么相应特征值λ可以表示为

λ=eTGie=

由于λmax≤1和相关矩阵的半正定性质，∴上式括号中每一个二次项的特征值在0～1之间，∴0≤λ≤1。

而且λ接近于1时要求eTRie→1,而eTRke(k≠i)却→0，第37页，共62页，星期日，2025年，2月5日 这样，Gi的相应于特征值接近1的特征向量对应着i类最重要的特征。

当e=2时，（*）式变为

G1+G2=I

这和两类时的情况相似，G1和G2的特征向量相同，其特征值间的关系和变换后的矩阵R1’、R2’时的一样。

第38页，共62页，星期日，2025年，2月5日 当C＞2时，情况就复杂了。

上述的方法还可以进一步简化。

可以把相关矩阵进行变换，使它满足

==I

线性变换S的推导和上节一样。当使用变换后的相关矩阵时，

Gi简化为Gi’=1/c[2Ri’+(C－2)I]

当C=2时，Gi’=Ri’，和前面的结果相同。第39页，共62页，星期日，2025年，2月5日7.4图像特征抽取的奇异值分解法 一幅图像可以表示为按一定顺序排列的像素的一个阵列（矩阵）。

假定阵列有N行N列，这时观测向量就由N2个像素的灰度值组成。由于观测向量的维数很大，我们希望用（抽取）图像的特征来表示图像。第40页，共62页，星期日，2025年，2月5日 图像特征抽取的方法有许多种。例如从二维频率谱中抽取特征。

这一节我们讨论由一组基图像的加权和表示图像的方法，这种方法和前面讨论过的利用特征值的特征抽取的方法很相似。

第41页，共62页，星期日，2025年，2月5日 假定图像是用一个N×N的矩阵B表示的，B的元素表示像素的灰度值。考虑两个N×N