挖掘与云服务模式.PDFVIP

COVER STORY 封面专题 大数据 挖掘与云服务模式 / 文 何清 庄福振 随着物联网、移动通信、移动互联网和数据自动采集技术的飞速发展以及在各 行各业的广泛应用，人类社会所拥有的数据面临着前所未有的爆炸式增长。美国互 联网数据中心指出，互联网上的数据每年以50%的速度增长，每两年翻一番，而目前 世界上90%以上的数据是最近几年才产生的，人类社会进入了“大数据”时代。因 此，信息的获取非常重要，一定程度上，信息的拥有量已经成为决定和制约社会发 展的重要因素。 数据是人类社会的宝贵财富，当前以及未 式。因此必须对传统数据挖掘进行理论、方 来的许多经济、社会和科学问题需要依赖于对 法和算法上创新，特别是创新大数据计算环 数据的分析和挖掘才能解决，社会的发展对数 境下的数据挖掘理论、方法与技术，以满足 据的依赖将越来越高。飞速增长的大数据给经 大数据挖掘的应用需求。更进一步，扩展数 济发展和科学技术进步带来了新的机遇，同时 据挖掘算法处理大规模数据的能力，并提高 也给当前的信息技术带来巨大挑战。 运行速度和执行效率，成为一个不可忽视的 由于要挖掘的信息源中的数据都是海量 问题。大数据挖掘的主流方式是基于云计算 的，而且以指数级增长，传统的集中式串行 的大数据挖掘云服务模式。 数据挖掘方法不再是一种适当的信息获取方 基于大规模数据处理平台 Hadoop，我们 56 高科技与产业化 . 月刊 研究前沿 研究开发了面向海量结构化数据的并行挖掘 挖掘的基本策略，实现与数据分布相联系的 云服务平台 COMS，以及面向海量 Web 数据 大数据分治策略以及与算法机理相结合的算 的并行挖掘云服务平台 WMCS，其目的是设 法并行策略。 计实现并行数据挖掘算法处理大数据集，且 (3) 在大数据挖掘算法的复杂度分析与误 提高执行效率。更重要是，这两个系统把数 差估计基础上，研究降低复杂度精度可控的 据挖掘作为一种服务提供给用户，用户不用 新的数据挖掘算法，提出并实现高效的大数 了解具体的数据挖掘算法，也不用了解数据 据分类、聚类、关联分析、异常发现等四类 挖掘的整个流程，只需要把挖掘任务和数据 算法，对具有低复杂度、高并行度、精度有 提交到我们的系统中，系统就会进行挖掘计 保证的实用算法实现并行化。 算，把挖掘结果返回给用户。该数据挖掘云 (4) 研究大数据中共性的增量学习、迁移 服务模式具有广泛的应用前景，适用于拥有 学习、多任务多视图学习方法和相应的高效 数据但没有数据挖掘研发能力的企业。 算法，设计和实现大数据挖掘算法。 (5) 大数据挖掘云服务平台研发。在上述 大数据的关键技术是数据挖掘 理论与方法研究基础上，开发实现大数据挖 我们认为应在大数据挖掘算法与技术方 掘云服务平台，支持数据规模从 TB 级到 PB 面开展如下研究 ：