Local-Learning-BasedFeatureSelectionforHigh-.docVIP

Local-Learning-Based Feature Selection for High-Dimensional Data Analysis Sun, Yijun; Todorovic, Sinisa; Goodison, Steve; Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume: 32 , Issue: 9 Digital Object Identifier: 10.1109/TPAMI.2009.190 Publication Year: 2010 , Page s : 1610 - 1626 IEEE Journals Abstract ?|? Full Text: PDF? 2518 KB 给出一个训练集，维数特别高 作者要干啥呢？ 原来要把这些特征用个矢量给scale一下，目标是让一个目标函数最小，而这个目标函数是基于Margin的。 啥是margin呢？ 就是它到最近同类样本和最近异类样本的距离的差。 似曾相识吧？没错，这就是Elena用过的思想！ 而乘以以后，margin就变成了： 目标函数就是用这个构造的。但问题是，现在我们不知道呀！当然不知道乘上后的里的同类和异类的是谁，（您可能说，那就用的算了呗，那可不行，这俩空间里的可能相差大着呢！）那当然也不能直知道和是谁了，那这可咋算？ 那只能用期望了呗。 其中由它的期望值代替： 就是异类的样本们了； 同类的样本们。 有了这个的表达式，作者就可以给出上面所谓的了： 又因为大部分的特征都没啥用，所以希望，就是让小的，所以又在目标函数上加上一个惩罚项变成了： 下面就是如何解这个问题了。 作者肯定是个老手，要是我们这些菜鸟，肯定困在这里了，或者很直接去求的解。 而作者先把难题分解，然后分阶段各个击破，高明之处在于此，也是常用的手法：固定一个变量 f（），优化另个变量，如此迭代。如何优化另个变量？用梯度下降法。 ，求，可是，不能直接用来解答，所以作者用个来表达，保证一定。带进去： 注意看这里用了上轮的，而求的是下一轮的，这是迭代算法的一般思路： 这个问题可以直接解： 。 求出来之后，可以带入重新算出，和。重新算一个出来： 迭代以上两步，直到前后两次差不多，也就是收敛. 下面就是算法了； 实际上是为了算下一步要用到的 好了，算法就介绍完了。 启发嘛，应该很多，暂时没想到几个： 找不到最近的样本的时候，可以用个期望来算，就是把所有样本是最近样本的概率加权平均起来 当解决一个问题无法下手的时候，可以用这个方法： 要优化的变量w,中间量f w ,目标函数g w,f 。 初始化w，迭代： 求f w ； 固定f，求g w,f 对w的极值（梯度下降）w’ 更新w w+a×w’ 好了，上作者王道，交大校友，也是做BME：