数据处理光谱分析与数据挖掘.PDF

复杂数据环境下的数据降维 朱鹏飞 天津大学计算机科学与技术学院 2016-10-26 Tianjin University 复杂数据环境 专刊题目：复杂环境下的机器学习研究 征稿范围： 1、不确定性数据处理与建模 2、面向多源异构复杂数据的机器学习 3、机器学习在复杂任务中的应用 人们不再满足于场景固定、目标明确的学习 任务，开始尝试开放环境下、复杂场景中的 探索式学习、多任务协同学习等等更具挑战 性的任务，并且在无人驾驶、机器人、大系 统优化、大数据建模等场景下进行验证。为 了应对这些挑战，有必要根据待建模任务的 复杂性，提出更灵活、更鲁棒、更自主、自 进化的学习机制。 Tianjin University 大数据的高维性 手机拍照使用率 2010 6% 2012 82% 2015 100% Tianjin University 大数据的高维性 维数灾难 Tianjin University 为什么特征选择 The evolution (rise) of feature dimensionality in correlation matrices. (a) Diabetes (8 features) (b) Lung Cancer (56 features) (c) Psoriasis (529,651 features) Zhai, Ong, Tsang. The emerging “Big dimensionality”. IEEE CI Magazine, 2014 Tianjin University 为何特征选择 存储负担 计算复杂度 模型泛化能力 Tianjin University 为何特征选择 特征空间维度的增长，使得模型参数增加， 模型求解复杂度增加，容易引起过拟合，从而影响模型的泛化性能 Tianjin University 为何特征选择 高维特征空间中的度量集中效应 样本稀疏性：某些特征空间基本没有样本存在 在高维数据空间中，某个样本点到其最近邻居点和最远邻居点之间的距离趋于相等 ，从而导致一些基于距离度量的机器学习算法性能降低。这种现象通常称为 “度量 集中”，最早由Milman在描述高维概率分布时引入。 Tianjin Un