论文 一种提高Kernel PCA特征提取性能的核优化算法.docVIP

一种提高Kernel PCA特征提取性能的核优化算法 基于核的主分量分析（Kernel PCA）能够提取数据的非线性特征，但其性能受核参数的影响非常大。本文提出一种新的基于特征空间中非高斯分布估计的核参数优化算法。该方法基于Kernel PCA中最优的参数应能导致特征空间中数据具有高斯分布的思想，通过对特征空间中数据的非高斯性结构进行分析，从反面估计其对高斯分布的逼近程度。采用该方法对数据的有效性。 An optimizing kernel algorithm for improving Kernel PCA feature extraction Kernel PCA can effectively extract nonlinear features of data set. Its performance, however, is strongly influenced by parameter of kernel. In this paper, we propose a novel parameter optimizing algorithm based on the nongaussian distribution estimation in feature space. Based on the idea that the optimized parameter can lead to the mapped data in feature space to be Guassian, our method analyses the nongaussian structure of the mapped data, and then inversely estimates the degree of mapped data’s distribution close to the Gaussian one in feature space. The experiments, on every data, demonstrate excellent results which show effectiveness of the method proposed in this paper. Kernel PCA; sub-feature space; ICA; maximum-entropy principle 引言 基于核的主分量分析法（Kernel PCA）ernel PCA 已知一组观测样本。我们首先通过一个非线性函数将样本映射到特征空间，假设中的映射样本是中心化了的，即计算协方差矩阵。我们需要求的特征值及相应的特征向量，满足。由于特征向量都落在数据的张集上，，所以存在一组系数使得 （1） 由此，我们得到， （2） 通过定义一个的核矩阵写为 （3） 所以，为确定特征向量而求取系数的问题就仅依赖于特征值分解核矩阵。 我们需要在中归一化特征向量，这等于；而为了放宽的假设，根据[1]只需简单地将核矩阵替换成 ，其中 。 对于任测试样本，它在中的映射点为，则 （4） 称为它相应于的非线性主分量在特征向量上的投影坐标值。 最优化核参数算法 Kernel PCA的目的是将输入空间中非高斯分布的数据映射到特征空间，使之在中尽量服从高斯分布。所以，最优核参数就定义为：具有非高斯分布的观测数据通过所隐含的映射，使得最逼近高斯分布。因为我们讨论的是在核函数形式已确定情况下的参数优化问题，而非最优化核函数形式及参数的选择问题，所以这里是最逼近高斯分布，而非高斯分布。 在特征子空间中分析数据的结构 按照以上对最优参数的定义，显然我们需要估计在特征空间的分布情况，但却存在无法直接求得而无法分析其结构的问题。所以，我们将定义特征子空间，并且易知数据的分布在特征空间和在特征子空间中具有不变性。 Kernel PCA首先对空间坐标系做正交变换，得到新的坐标轴，是观测样本个数。若（3）式中非零特征值按降序排列，则相应的个特征向量就构成了空间的一个子空间，称为特征子空间。据[1]知，都落在的张集上且它们是特征空间的基矢量集的一个子集，所以任意可由以为基的一组坐标近似表示为，即 (5) 由上式可知，数据集可近似表示为，而是一组正交基，所以 在中的投影与 同分布（见图1）。基于此，为了估计特征空间中的分布，我们等价地分析特征子空间中的分布。注意到就是的主