An optimizing kernel algorithm for improving Kernel PCA feature etraction分析和总结分析和总结.docxVIP

一种提高Kernel PCA特征提取性能的核优化算法1

段祎林1 田亚爱2 林书玉3

（1,2.西安石油大学理学院，西安 710065

3.陕西师范大学物理与信息技术学院，西安710062）

摘要：基于核的主分量分析（KernelPCA）能够提取数据的非线性特征，但其性能受核参数的影响非常大。本文提出一种新的基于特征空间中非高斯分布估计的核参数优化算法。该方法基于KernelPCA中最优的参数应能导致特征空间中数据具有高斯分布的思想，通过对特征空间中数据的非高斯性结构进行分析，从反面估计其对高斯分布的逼近程度。采用该方法对各种数据进行实验都有很好的效果，表明了该方法的有效性。

关键字：基于核的主分量分析；特征子空间；独立分量分析；最大熵原则

Anoptimizingkernelalgorithm

forimprovingKernelPCAfeatureextraction

DUANYi-lin1 TIANYa-ai2 LINShu-yu3

(1,2.TheCollegeofScience,Xi’anShiyouUniversity,Xi’an7100653.TheSchoolOfPhsicsInformationTechnology,ShaanxiNormalUniversity,

Xi’an710062)

Abstract: KernelPCAcaneffectivelyextractnonlinearfeaturesofdataset.Itsperformance,however,isstronglyinfluencedbyparameterofkernel.Inthispaper,weproposeanovelparameteroptimizingalgorithmbasedonthenongaussiandistributionestimationinfeaturespace.BasedontheideathattheoptimizedparametercanleadtothemappeddatainfeaturespacetobeGuassian,ourmethodanalysesthenongaussianstructureofthemappeddata,andtheninverselyestimatesthedegreeofmappeddata’sdistributionclosetotheGaussianoneinfeaturespace.Theexperiments,oneverydata,demonstrateexcellentresultswhichshoweffectivenessofthemethodproposedinthispaper.

keywords: KernelPCA; sub-featurespace; ICA; maximum-entropyprinciple

引言

基于核的主分量分析法（KernelPCA）[1]是利用核技巧对PCA的一种非线性推广，能有效地捕捉数据的非线性特征，但是其性能受核函数影响很大。最优核函数应能导致数据在特征空间中具有高斯分布，但由于特征空间中映射数据的不可表示特点，导致我们无法直接估计数据在特征空间中的分布，所以没有非常有效的方法解决KernelPCA的核优化问题。

本文提出了一种新的核优化方法，通过定义特征子空间，并对特征子空间中数据的非高斯结构进行分析，进而估计特征空间中数据的分布，巧妙地回避了数据在特征空间中的不可表示问题，并给出目标函数来确定最优的核参数。大量实验验证了方法的有效性。

KernelPCA

已知一组观测样本x,k?1,...,M,x ?RN。我们首先通过一个非线性函数φ将样本映射到特征空间F，

k k

φ :R

N ? F, x φ(x)。假设F中的映射样本是已中心化了的，即?M

k?1

φ(x

k

)?0。计算协方差矩阵

C?1

M

?Mφ(x

j

j?1

)φ(x

j

)T。我们需要求C的特征值??0及相应的特征向量V?F\{0}，满足CV??V。由于

特征值非零的特征向量都落在数据的张集上，即V?span{φ(x

1

),...,φ(x

M

)}，所以存在一组系数?

i

(i?1,.