机器学习中的降维方法综述.docVIP

上海大学2014～2015学年春季学期研究生课程考试 文献阅读报告 课程名称： 模式识别与机器学习 课程编号： 07SBE9004 论文题目: 机器学习中的数据降维方法 研究生姓名: 廖 宇 学 号: 1座机电话号码 评语: 成 绩: 任课教师: 评阅日期: 机器学习中的数据降维方法 引言 随着科技的进步，尤其是数据采集和存储技术的飞速发展，不同行业和领域的数据如航天遥感数据，生物数据，网络数据以及金融市场交易数据等大量涌现，意味着大数据时代的来临。如何从复杂多样，变化迅速的大数据中有效地挖掘和提炼人类感兴趣的信息，成为了一个热门话题。 机器学习是近20多年兴起的一种从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法其大量的应用都与大数据高度耦合，是一种十分适用于大数据环境下的算法。是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 设n维向量w为目标子空间的一个坐标轴方向（称为映射向量），最大化数据映射后的方差，有： （1） 其中m是数据实例的个数， 是数据实例i的向量表达， 是所有数据实例的平均向量。定义W为包含所有映射向量为列向量的矩阵，经过线性代数变换，可以得到如下优化目标函数： , （2） 其中tr表示矩阵的迹， 3 A是数据协方差矩阵。容易得到最优的W是由数据协方差矩阵前k个最大的特征值对应的特征向量作为列向量构成的。这些特征向量形成一组正交基并且最好地保留了数据中的信息。 PCA的输出就是Y W’ X，由X的原始维度降低到了k维。PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据的区分作用并不大，反而可能使得数据点揉杂在一起无法区分。这也是PCA存在的最大一个问题，这导致在某些情况下的分类效果并不好。 也叫做Fisher’s Linear Discriminant[]是一种有监督的线性降维算法 总结与展望 1901年K.Pearson首次提出了主成分分析这个概念[]，1933年H.Hotelling 完善了其数学基础，所以PCA又称为Hotelling变换。PCA的目的是将原始变量转换为一小部分反映事物主要性质的变量，也就是主成分。从而将数据从高维空间投影到低维空间，并且保证投影后的低维数据能够在最小平方意义下最优地描述原有高维数据。PCA的各个主成分可通过求解基于数据协方差矩阵的特征向量得到。PCA的这些特点使得它成为分析多元数据的重要工具之一，并且在模式识别中得到广泛应用。例如，基于PCA的特征脸方法（Eigenfaces）方法已被证明在人脸识别中是相当成功的。众多研究者在此基础上进一步提出了许多扩展和变化方法，其中有代表性的有与和方法相结合得到的核主成分分析（Kernel Principal Component Analysis, KPCA）、结合稀疏学习的稀疏主成分分析（Sparse Principal Component Analysis, SPCA）、概率主成分分析（Probabilistic Principal Component Analysis, PPCA）、可有效处理二维图像的二维主成分分析（2-Dimensional Principal Component Analysis, 2DPCA）、局部主成分分析（Local Principal Component Analysis, LPCA）等。 [] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of cognitive neuroscience, 1991, 3 1 : 71-86. [] Sch?lkopf B, Smola A, Müller K R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural computation, 1998, 10 5 : 1299-1319. [] Zou H, Hastie T, Tibshirani R. Sparse principal component analysis[J]. Journal of computational and graphical statistics, 2006, 15 2 : 265-286. [] Fisher R A. The use of multiple measurements in taxonomic problems[J]. Annals of euge