文献综述部分参考写法.docxVIP

非负矩阵分解文献综述一、国内外研究现状近年来,技术传感器技术和计算机硬件的发展导致数据量的增加,许多经典数据分析工具被迅速压倒.因为信息采集设备只有有限的带宽,收集到的数据并不经常准确.其次,在很多情况下,从复杂现象观察到的数据,其往往代表几个相互关联的变量共同作用的综合结果.当这些变量更少的精确定义时,在原始数据中包含的实际信息往往是重叠的、模糊的.为了处理这些海量数据,科学家产生了新的关注. 1999年,在刊物Nature上,Daniel Lee 和Sebastian Seung开始的一系列新的NMF的研究,数以百计的论文引用Lee 和Seung的论文,但一些较不为人知的事实是,在Lee 和Seung 的论文发表之前,Pentti Paatero开始了相关的工作. 虽然Lee和Seung引用Paatero的论文,Lee和Seung将Paatero的工作称为正矩阵分解，然而，Paatero的工作很少被后来的作者所引用.这是因为Paatero将其工作称为正矩阵分解,这是误导Paatero创建NMF算法。实际上Paatero年前发表了他最初的分解算法[1]. 2005年,Lin为了加速Lee和Seung的NMF迭代算法的收敛速度，最近提出使用投影梯度有约束的优化方法[2]，该方法与标准的(乘法更新规则)的方法相比，计算似乎有更好的收敛性.使用某些辅助约束,可以降低分解有约束的优化假设,降低投影梯度方法的局限性. 2007年,V.Blondel等对标准NMF算法进行了加权改进，提出了加权NMF方法[3]。通过加权,更好的表述了数据中的重要区域.其加权方法是：首先,定义数据中的重要区域,然后，在优化过程中，如果在该重要区域中重建错误,就给他分配更多的权重. 国内对NMF的研究相对开始的较晚.2001 年,原微软中国研究院的李子青博士、张宏江博士等人发现Lee和Seung提出的经典NMF算法在人脸图像未得到配准的情况下,不能学习得到人脸的部件.并提出了局部非负矩阵分解来解决这个问题[4].Chen 等人将LNMF算法应用于人脸检测并取得了较好的效果.现为中科院自动化所生物识别与安全技术研究中心主任的李子青带领他的团队,于2009 年,提出了基于吉布斯随机场的 NMF 算法[4],该算法的收敛速度较快，并且得到的分解结果具有较好的稀疏性和可解释性.清华大学信息科学与技术国家实验室的章毓晋教授、李乐博士对非负矩阵分解的研究做了大量的工作,对 NMF 算法的研究现状进行了综述，对已有的NMF算法进行了很好的分类,指出各个NMF算法的缺点,并提出了改进的算.针对NMF的先天缺陷,即数据描述能不强、推广性差,提出了非负矩阵集分解的概念和相应的算法[4]. 浙江大学计算机学院的蔡登教授等人针对流形数据提出了图正则非负矩阵分解算法 GNMF[4],该方法在矩阵分解过程中明确考虑了数据集携带的几何信息：如果数据点在原空间是邻近点,那么对应到新的基下也是邻近点.此外，他们还提出了局部保留 NMF.可见,国内的研究机构和学者也逐渐加入 NMF 研究的行列,并取得了一定的成果.二、非负矩阵分解2.1非负矩阵分解原理 信息或信号处理的许多数据具有非负性的特点[5],如灰度图像、物质成分含量、文章中单词出现的次数和统计学中的概率转移矩阵等.在用线性表示方法处理这类数据时,往往要求分解的结果都是非负的.此时若采用传统的因子分析方法,如主成份分析,因为其结果中含有负数而失去了物理意义,而采用非负矩阵分解方法就可以避免这一点. 非负矩阵分解是一种多变量分析方法.它首先把高维的数据进行分解,得到低维的数据,然后再对低维的数据进行压缩,以得到理想的压缩效率.假设有m个n维空间的样本数据,用表示.该数据矩阵中各元素都是非负的,即,对矩阵进行线性分解,有,其中称为基矩阵,为系数矩阵.若选择r比n小,即rn，用系数矩阵代替原数据矩阵,就可以实现对原数据矩阵的降维,得到数据特征的降维矩阵.然后对系数矩阵C进行压缩,从而减少存储空间,节约计算资源.2.2非负矩阵分解的算法 为了实现矩阵的非负分解,首先需要定义一个损失函数来刻画分解前后的逼近程度,然后在非负性约束下求解.最早提出的正矩阵分解方法采用传统的梯度下降算法与加性迭代规则[6].现在我们对这种方法进行了改进,在此基础上采用乘性迭代规则,更适合非负数据的特点,即在非负性初始化的基础上,在迭代过程中能简单地保持非负性,而加性迭代规则就需要一个强制将负值变为零的步骤.2.3非负矩阵分解算法的目标函数 目标函数又称为代价函数( Cost Function)是衡量分解前后矩阵相似度的量[7].力求相似度最大亦即使得X与胡泊勺差异最小,两种方式来衡量[8] 欧氏距离和K-L散度. 欧氏距离: