[大数据综述.docxVIP

兄弟连IT教育作为国内领先的培训机构，迄今已有10年的教育历史。8大特色课程：PHP培训、安卓培训、JAVAEE+大数据、UI设计、HTML5培训、云计算架构师，虚拟现实VR培训，机器人教育培训，在目前IT市场特别火，每门课程都由名师牵头，以认认真真的态度做教育。　随着移动互联网?物联网和云计算技术的迅速发展，开启了移动云时代的序幕，大数据(BigData)也越来越吸引人们的视线?正如1982年世界预测大师?未来学家约翰.奈斯比特(John.Naisbitt)在他的著作中所提到的：“我们现在大量生产信息，正如过去我们大量生产汽车一样”?“人类正被信息淹没，却饥渴知识”，等等诸的预言均在当下得到了充分的证实，这也恰恰说明，世界正处一个信息爆照的时代?　Internet的出现缩短了人与人?人与世界之间的距离，整个世界连成一个“地球村”，人们通过网络无障碍交流交换信息和协同工作?与此同时，借助Internet的高速发展?数据库技术的成熟和普及?高内存高性能的存储设备和存储介质的出现，人类在日常学习?生活?工作中产生的数据量正以指数形式增长，呈现“爆炸”状态?“大数据问题”(Big DataProblem)就是在这样的背景下产生的，成为科研学术界和相关产业界的热门话题，并作为信息技术领域的重要前沿课题之一，吸引着越来越多的科学家研究大数据带来的相关问题。　期刊《Nature》和《Science》针对大数据分别出版了专刊“Big Data”和“Dealingwith Data”，从互联网技术?互联网经济学?超级计算?环境科学?生物医药等多个方面讨论了大数据处理面临的各种问题。2011年5月，全球知名咨询公司麦肯锡(Mckensey and Company)在美国拉斯维加斯举办了第11届EMC World年度大会，设定的主题为“云计算相遇大数据”，发布了“Big data：Thenext frontier for innovation，competition andproductivity”的报告，首次提出“大数据”的概念，并在报告中指出：“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。美国联邦政府建立统一的门户开放网站——Data.Gov，开放政府拥有的公共数据，鼓励民众对其进行自由开发，进一步推进政府数据开放;美国政府各部门也纷纷有所行动，美国国家科学基金委员会(NSF)?美国国家卫生研究院(NIH)?美国能源部(DOE)?美国国防部(DOD)?美国国防部高级研究计划局(DARPA)?美国地质勘探局(USGS)等6个部门联合推出了大数据计划，旨在提升从大量复杂数据中获取知识和洞见的能力?　处于发展中国家前列的中国，大数据的应用处于起步阶段。在工信部发布的物联网“十二五”规划中，把信息处理技术作为4项关键技术创新工程之一提出，其中包括了海量数据存储?数据挖掘?图像视频智能分析，这都是大数据的重要组成部分。而另外3项：信息感知技术?信息传输技术?信息安全技术，也与“大数据”密切相关。同时，为推动大数据在我国的发展，2012年8月，中国科学院启动了“面向感知中国的新一代信息技术研究”战略性先导科技专项，其任务之一就是研制用于大数据采集?存储?处理?分析和挖掘的未来数据系统;同时，中国计算机学会成立了大数据专家委员会(CCF Big DataTask Force，CCF BDTF);为探讨中国大数据的发展战略，中科院计算机研究所举办了以“网络数据科学与工程——一门新兴的交叉学科”为主题的会议，与国内外知名专家学者一起为中国大数据发展战略建言献计;2013年，科技部正式启动863项目“向大数据的先进存储结构及关键技术”，启动5个大数据课题。　由此可见，大数据的发展已经得到了世界范围内的广泛关注，发展趋势势不可挡。如何将巨大的原始数据进行有效地利用和分析，使之转变成可以被利用的知识和价值，解决日常生活和工作中的难题，成为国内外共同关注的重要课题，同时也是大数据最重要的研发意义所在。　1.1. 大数据的产生　现在的社会是一个信息化?数字化的社会，互联网?物联网和云计算技术的迅猛发展，使得数据充斥着整个世界，与此同时，数据也成为一种新的自然资源，亟待人们对其加以合理?高效?充分的利用，使之能够给人们的生活工作带来更大的效益和价值。在这种背景下，数据的数量不仅以指数形式递增，而且数据的结构越来越趋于复杂化，这就赋予了“大数据”不同于以往普通“数据”更加深层的内涵。　在科学研究(天文学?生物学?高能物理等)?计算机仿真?互联网应用?电子商务等领域，数据量呈现快速增长的趋势。美国互联网大数据平台(IDC)指出，互联网上的数据每年将增长50%以上，每2年便将翻一番，而