特征提取 人工智能教材.pptVIP

特征提取（6.7.3 主成分分析） 一、特征提取的目的 通过对特征向量x进行线性变换，获得新的特征向量y，从而达到以下目的： （1）降低特征向量的维数； （2）提取有利于分类的新的特征。 二、正交变换 通过正交矩阵对特征向量x进行变换： x为N维特征向量： y为N维特征向量： A为正交阵： 三、KARHUNEN-LOEVE变换（目的是降维） K-L变换的形式： A的构成：由 的特征向量构成。 其中：特征向量互相正交，特征向量 对应的特 征值为 ，且 。 y的自向关矩阵： 问题：如果为了降维，只允许保留向量y的m个分量（即m个特征），应保留那些分量？ 利用K-L变换进行降维：对于N维特征向量 ， 取其中的前m个特征，构成新的特征向量z，则在给定特征数量m的前提下，z可最大限度地保留原特征向量x包含的信息： 由于 ，选取y中的前m个特征，可 以最大限度地保留原特征向量x中包含的信息。 问题：考虑两类分类问题，给定两类样本的样本集D，应如何采用K-L变换进行降维？ K-L变换也称为：Principal Component Analysis.