大数据概念技术及应用研究综述-南京信息工程大学学报.pdfVIP

文章编号：１６７４⁃７０７０（２０１４）０５⁃０４０５⁃１５ １，２，３ １，２ １，２ 方巍 　 郑玉 　 徐江 大数据：概念、技术及应用研究综述 摘要 ０　 引言 随着物联网、云计算、移动互联网的 迅猛发展，大数据（Ｂｉｇ Ｄａｔａ）吸引了越来 　 　 近来，当人们对“物联网”、“云计算”、“移动互联网”等热词还感 越多的关注，正成为信息社会的重要财 觉模糊时，“大数据”（Ｂｉｇ Ｄａｔａ）又横空出世且其发展成燎原之势． 富，同时也给数据的处理与管理带来了 巨大挑战．首先从大数据概念入手，阐述 ２０１４年巴西世界杯与往届世界杯最大不同的是，其融入了诸多的科 了大数据的来源、主要挑战、关键技术、 技元素如“云计算”、“大数据”等．ＩＢＭ研究表明，在整个人类文明所 大数据处理工具和应用实例等，并对比 获得的全部数据中，有９０％是过去２年内产生的，到２０２０年，全世界 了大数据与云计算、物联网、移动互联网 等技术之间关系，然后剖析了大数据核 所产生的数据规模将达到２００９年的４４倍．根据国际数据公司ＩＤＣ监 心技术、大数据企业解决方案，讨论了目 测，人类产生的数据量正在呈指数级增长，大约每２ 年翻一番，２０２０ 前大数据应用实例，最后归纳总结了大 年全球数量将达到３５ ＺＢ．据统计，平均每一秒都有２００万用户在使用 数据发展趋势．旨在为了解大数据当前 发展状况、关键技术以及科学地进行大 Ｇｏｏｇｌｅ有哪些信誉好的足球投注网站，Ｆａｃｅｂｏｏｋ注册用户超过 １０亿，每天生成３００ ＴＢ 以上的 数据分析与处理提供参考． 日志数据．同时，传感网、物联网、社交网络等技术迅猛发展，引发数据 关键词 规模爆炸式增长，各种视频监控、监测、感应设备也源源不断地产生 大数据；云计算；大数据处理；分布 式系统；ＮｏＳＱＬ 巨量流媒体数据，能源、交通、医疗卫生、金融、零售业等各行业也有 大量数据不断产生，积累了ＴＢ级、ＰＢ级的大数据．上述情况表明，现 中图分类号 ＴＰ３９３．４ 在已进入大数据时代，大数据已经开始造福于人类，成为信息社会的 文献标志码 Ａ 宝贵财富． 大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理．《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的 ３大技术变革．“世界经济论坛”报告指出大数据为新财富，价值堪比 石油．因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 收稿日期 ２０１４⁃０９⁃０１ 争制高点的重要举措． 资助项目 计算机软件新技术国家重点实验室 当前大数据分析者面临的主要问题有：数据日趋庞大，无论是入 （南京大学）开放课题（ＫＦＫＴ２０１４Ｂ２１）；２０１４ 年全国及江苏省大学生实践创新训练计划 库和查询，都出现性能瓶颈；用户的应用和分析结果呈整合趋势，对 （２０１４１０３０００２６）；江苏高校优势学科建设工程 实时性和响应时间要求越来越高；使用的模型越来越复杂，计算量指 资助项目 作者简介 数级上升；传统技能和处理方法无法应对大数据挑战． 方巍，男，博士，副教授、高级工程师，主要 可喜的是，学术界、工业界甚至于政府机构都已经开始密切关注 研究方向为智能信息处理、云计算和大数据分 析．ｈｓｆａｎｇｗｅｉ＠ｓｉｎａ．ｃｏｍ 大数据问题，并对其产生浓厚的兴趣．就学术界而言，《Ｎａｔｕｒｅ》 和