无监督与半监督维算法研究.pdfVIP

摘要 摘 要 在机器学习和模式识别领域，会不可避免地遇到很多高维数据，从而出现“维 数灾难”。为了避免“维数灾难”问题，需要对高维数据进行特征降维。特征降维 是指通过线性或者非线性映射把高维数据投影到一个低维的空间，同时揭示隐藏 在数据中的内在结构信息。本文主要研究基于无监督和半监督的特征降维算法。 首先，在无监督降维方面，高斯过程隐变量模型是一种有效的方法。它提供 了一个从低维隐变量空间到高维观测数据空间的光滑映射。这种光滑映射就可以 使得在隐空间中相距较近的样本点，经过映射到观测数据空间后，依然相距较近。 然而，它并不能保证在数据空间相距较近的样本点经该映射降维到隐空间后依然 相距较近。为了解决高斯过程隐变量模型的这一不足，提出了一种基于局部保持 的隐变量模型算法。该算法能使得在数据空间相距较近的样本点经过降维后，在 隐空间中依然相距较近。在几类数据库上进行的测试结果表明了该算法的有效性。 其次，在半监督降维方面，除了可以知道样本的类标信息，还有另外一种监 督信息，即成对约束信息。成对约束是指两个样本要么属于同一类，要么不属于 同一类。但是目前利用成对约束进行降维的算法只是简单的利用约束关系，并没 有挖掘成对约束关系中的本质特性，比如传递性和排斥性。因此，提出了两种半 监督降维算法：一种是基于整体保持的半监督降维算法，该算法不仅利用了约束 关系的传递性和排斥性，而且还保持数据集所在低维流形的整体结构；另一种是 基于局部保持的半监督降维算法，该算法除了利用了成对约束的传递性和排斥性 外，还可以保持数据集所在低维流形的局部结构。在几类数据库上实验表明，该 算法要优于其他的降维算法。 关键词：降维 高斯过程 隐变量模型 成对约束 Abstract Abstract to with Inmachine and isinevitableencounter recognition，it learningpattern causea calledthecurse datasets，which of high．dimensional usually problem data the itis toreducethedimensionofthe setstoavoid dimensionality．Thennecessary curse reductionaimsto thestructureofthe capture ofdimensionality．Dimensionality the thelinearornon-linear datasetsembeddedin low-dimensional through space main ofthis isto andsemi- unsupervised mappings．nepurpose pape