模式识别课件 流形学习.pptVIP

局部保持投影 这里 ，L=D-S,D是一个对角矩阵。 对应着第i个样本， 越大，则反映出第i个样本越“重要”。为了避免尺度的影响以及消除平移的任意性，可以引入下面约束： 最小化问题转化为： 局部保持投影 则投影矩阵A的确定,变成解下面广义特征方程的解： 投影矩阵Anxm的列向量是由m个最小特征值对应的特征向量组成。 NPE(Neighborhood Preserving embedding) 构造权重矩阵的目标函数 约束条件 转移矩阵A 目标函数 Isomatric Projection 最小下列目标函数： 最优解： Isomatric Projection 简化有： 约束： Isomatric Projection 则最小距离解构函数为： 目标函数变为： 2DLPP 假定训练图象为： 训练矩阵为： 目标函数为： 其中： 领域内： 领域外为0 D为对角阵 2DNPE和2DIsometric projection Supervised Manifold learning methods Manifold learning methods based on discriminant features 讨论流形学习的缺点 * * 流形学习 流行学习 Nonlinear Methods Isomap ， laplacian eigenmap (LE) local linear embedding (LLE) Linear Methods Isometric Projection，LPP，NPE， UDP, 2DLPP, tensor LPP, tensor NPE 假定：数据的内在特征都嵌入在低维非线性流形面上 几种非线性流形学习算法 局部线性嵌入(LLE). S. T. Roweis and L. K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, vol. 290, pp. 2323--2326, 2000. 等距映射(Isomap). J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. 拉普拉斯特征映射(Laplacian Eigenmap). M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 –1396, 2003 .? LLE（locally linear embedding） LLE算法的主要思想： 对于一组具有嵌套流形的数据集，在嵌套空间与内在低维空间局部邻域间的点的关系应该保持不变。 即在嵌套空间每个采样点可以用它的近邻点线性表示，在低维空间中保持每个邻域中的权值不变，重构原数据点, 使重构误差最小. LLE算法示意图 LLE（locally linear embedding LLE（locally linear embedding） 2.算法步骤： 1）设D维空间中有N个数据属于同一流形，记做：Xi＝〔xi1,xi2,...,xiD〕，i=1～N。假设有足够的数据点，并且认为空间中的每一个数据点可以用它的K个近邻线性表示。求近邻点，一般采用K近邻或者 邻域. 2）计算权值Wij，代价函数为： ，（1） 并且权值要满足两个约束条件： 1每一个数据点Xi都只能由它的邻近点来表示，若Xj不是近邻点，则Wij=0； 2权值矩阵的每一行的和为1，即： 。 这样，求最优权值就是对于公式（1）在两个约束条件下求解最小二