大数据研究现状及发展史.docxVIP

选题理由：移动互联网和云计算都是我们可以触及到的东西，而大数据是一个抽象的概念，现在媒体总在说大数据时代的到来，那大数据到底是什么，为什么它如此受关注，为何它对人们的生活和生产具有如此深刻的影响，借这个机会我也想深入地了解了一下，并在此与大家分享有关大数据的知识。 最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。 何为大数据 大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。 所涉及的数据量规模巨大到无法通过人工在合理时间内完成信息的采集、处理、管理，并将其整理成为人类所能解读的信息。 当今世界经济中，企业为了发现新的盈利长机会，更加依赖来自消费者的喜好和见解。在发现和挖掘这些喜好和见解的过程中，产生数量巨大、结构复杂、类型众多的数据，这些数据通过集成共享，交叉复用，成为有价值的经济信息资源，形成一种智力资源和知识服务能力。 大数据有多大 how big is big data 大，即海量，巨型。 领域内的大多数专业人士认为TB（太字节，百万兆）或PB级是目前大数据的基准。但也有业内人士认为无法为大数据定义一个具体的数量级，因为当今科技迅猛发展，今天的“大”可能是明天的“正常”数量。也就是说大数据是附着在人力和技术基础设施无法跟上公司的数据需求步伐的情况下的主观标签。 各大公司的数据情况 Google 公司通过大规模集群和MapReduce 软件，每个月处理的数据量超过400PB。 百度的数据量：数百PB，每天大约要处理几十PB数据，大多要实时处理，如微博、团购、秒杀。 Facebook：注册用户超过8.5亿，每月上传10亿照片，每天生成300TB日志数据 淘宝网：有3.7亿会员，在线商品8.8亿，每天交易数千万，产生约20TB数据。 Yahoo!的数据量：Hadoop云计算平台有34个集群，超过3万台机器，总存储容量超过100PB。 工业革命以后，以文字为载体的信息量大约每十年翻一番；1970年???后，信息量大约每三年就翻一番；如今，全球信息总量每两年就可以翻一番。2011年全球被创建和被复制的数据总量为1.8ZB（1ZB=1021Byte）其中75%来自于个人。互联网数据中心（IDC）认为，到下一个十年（2020年），全球所有IT部门拥有服务器的总量将会比现在多出10倍，所管理的数据将会比现在多出50倍。根据麦肯锡全球研究院（MGI）预测，到2020年，全球数据使用量预计将暴增44倍，达到35ZB 数据如此膨胀，大数据的处理及应用成为企业经营及价值创造上非常重要的课题。 大数据特点：3V Volume:数据量大：目前一般认为PB级以上数据看成是大数据； Variety:种类多：包括文档、视频、图片、音频、数据库数据等； Velocity:速度快：数据生产速度很快，要求数据处理和I/O 速度很快； Veracity: 真实性:数据是完整的和可信任，并能自信地用它来做出关键的决定的能力的组织。 大数据处理流程  HYPERLINK /wiki/%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86 \o 数据采集 数据采集：数据抽取（ETL）工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到 HYPERLINK /wiki/%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93 \o 数据仓库 数据仓库或数据集合中，成为 HYPERLINK /wiki/%E8%81%94%E6%9C%BA%E5%88%86%E6%9E%90%E5%A4%84%E7%90%86 \o 联机分析处理 联机分析处理、数据挖掘的基础。  HYPERLINK /wiki/%E6%95%B0%E6%8D%AE%E5%AD%98%E5%8F%96 \o 数据存取 数据存取： HYPERLINK /wiki/%E5%85%B3%E7%B3%BB%E6%95%B0%E6%8D%AE%E5%BA%93 \o 关系数据库 关系数据库、NoSQL、SQL等。 基础架构： HYPERLINK /wiki/%E4%BA%91%E5%AD%98%E5%82%A8 \o 云存储 云存储、分布式文件存储等。 数据处理：自然语言处理( HYPERLINK /wiki/NLP \o NLP NLP，Natural Language Processing)是研究人与