属性约简最大相关最小冗余法.pptVIP

* * * * * * * * * * * * * * * * * 近期学习汇报 杨绍伟 最大相关最小冗余(论文两篇) 非负矩阵分解（论文一篇） 流形学习方法（概述性书籍一本） 最大相关最小冗余 特征提取（从已有特征提取出未知特征）存在一个问题，要求所有特征都是连续型变量，才能进行矩阵分解等相关的处理。针对人脸，声音等等可以由数据直接描述的数据源确实有效，然而对于一些离散型数据、标量数据或连续离散混杂数据，特征提取方法无法直接使用，需要进行数据的筛选，处理。相对而言，特征选择不存在这个问题。 特征选择根据特征间的关系以及特征与决策属性之间的关系，来选出合适的特征子集，这一过程若采用全局遍历有哪些信誉好的足球投注网站则收敛相当慢，因此考虑采用一些启发式方法，如：顺序有哪些信誉好的足球投注网站，浮动有哪些信誉好的足球投注网站，随机突变爬山和基于进化的方法。 针对有决策属性的样本，可以采用最大相关最小冗余来进行数据的处理。 即最大化下式： 前项用来描述决策属性和待评估属性之间的相关性，后者描述待评估属性和其他属性的相似性，也就是冗余度。然而上式提出的相关性函数I通常使用信息熵，只针对离散型属性，若属性值为连续型属性则无法处理。 最大相关最小冗余 针对连续属性和离散属性之间的相关性，我们无法用信息熵的方式来描述，此时可以考虑使用连续属性的分布特征。 因此连续型X和离散型属性的相关性可以描述如下： X和Y相关性越强，r越接近1。 最大相关最小冗余法还存在另外一个问题，多重共线性。一个特征可由两个或者多个特征描述出来，传统的最大相关最小冗余法只比较了两两特征间的关系，针对一特征由多特征线性表示的情况无能为力。而考虑多特征时由于无法确定特征的个数，就比较复杂了，需要用到启发式算法。 最大相关最小冗余 启发式最大相关最小冗余算法如下，思路是由0开始选出逐次选出特征子集，若此时为k-1个特征构成特征子集，正交化为q 1到q k-1，通过 计算新特征和之前特征的相似性，选取最小的加入，构成特征数为k的子集。 最大相关最小冗余 解决多重共线性的另一个方法：二次规划法 用X?= [?χ?1，...，χ???]∈Rm×n的样本矩阵，其中χ???∈Rm是第j ?个特征。表示为J = {1，...，n}特征索引集，并让A?J作为特征索引子集。我们需要从中找出最优的子集a*，即根据最大相关，最小冗余度来寻找下式最优解： 相关性和相互信息定义Q，b，如下： 其中相关性采用Pearson相关系数，相互信息采用下式定义 最大相关最小冗余 特征提取问题就变为二次规划问题。 用对其拉格朗日函数自变量求偏导的方式可得出方程的解，也就是a*的最优解。 。。。。。。 文章后面没有继续阐述二次规划求解的步骤，直接进行了比较 多重共线性问题解决的核心在于考虑多个特征之间的关系，不能只关注两个特征。 非负矩阵分解 非负矩阵分解就是将数据矩阵A分解为基矩阵F和系数矩阵W相乘的形式，并用F来表示A 传统的非负矩阵分解方法有两种思路。 1.在噪声较小且分布未知的情况下，最小化噪音，即最小化下式 2.在噪声分布已知的情况下，使噪声即FW-A尽量拟合噪声的分布函数，之后通过迭代来求出F和W矩阵。 非负矩阵分解 Ellipsoidal rounding for nonnegative matrix factorization under noisy separability 通过椭球体舍入的方法来对矩阵进行分解，具体方法如下： M（d*m）为初始数据矩阵，目标是表示为r阶F（d*r）矩阵和W（r*m）相乘的形式，再用F表示M。 由上式推得矩阵分解中的系数矩阵F可以由数据矩阵中的一部分来表示，即对1到m选择r个作为索引集，来拟合系数矩阵F，表示最终降维矩阵。 上式中F满秩，保证其为r阶。 非负矩阵分解 索引集I是从1到m中选取r个，为了得出索引集I，作如下处理： 对数据矩阵M进行奇异值分解 ， 得到P，此时的P是r*m维的，目的是减少待处理的行数，方便进行之后的椭球舍入运算。 之后把P中的向量带入椭球体上，形成最小体积椭球，解Q(S)，舍去椭球内部的点，取其表面的点（内部点可由表面的点表示）。得到未被舍弃的索引点集合，构成属性子集。 非负矩阵分解 若得到的目标索引集合的数目小于最终想要得到的降维维数r，采用如下算法进行迭代，以保证F矩阵为r维： 非负矩阵分解 一个高维空间中的椭球体可以如此表示： L决定椭球的形状，z决定椭球的中心，若一点满足