大数据概念与特征分析.docxVIP

5.2大数据的含义和特征

5.2.1 基本概念

大数据（BigData）术语早在20世纪80年代提出，直到2008年科学家在Nature杂志上撰写文章“BigData：ScienceinthePetabyteEra”，大数据概念逐渐被人们所熟知。2011年《科学》杂志推出专刊“DealingwithData”，围绕科学研究中的大数据问题展开讨论，说明大数据的重要性。进入2012年大数据的研究热潮开始，全球的许多学术会议均围绕大数据议题展开。虽然大数据的研究与应用获得全球各个国家的高度重视，并取得令人惊叹的成绩，促进了社会经济的快速发展，但是大数据的定义至今未有统一的描述形式，各大研究机构和科研院所，从大数据的各个角度进行阐述得到各自相应的定义形式。

全球著名的管理咨询公司麦肯锡，也是大数据研究先驱者之一，在其研究报告Bigdata：thenextfrontierforinnovation，competition，andproductivity（《大数据：创新、竞争和生产力的下一个前沿领域》）给出大数据的定义：大数据是指无法通过传统的存储管理和分析处理软件进行采集、存储、管理和分析的数据对象集合。同时该报告还强调，大数据不一定要求数据量一定要到TB级别。

国际数据公司（IDC）从4个方面来描述大数据，即数据规模量大、数据快速动态可变、类型丰富和巨大的数据价值，具有这些特征的数据集合称为大数据。

研究机构Gartner提出：大数据是指超出正常处理范围，迫使用户寻求新的处理模式才能够较好地解决数据分析问题，使其具备更强的决策能力和洞察发现力，获取更多的信息资产。

某网站关于大数据的定义是指在合理的时间内，无法通过现有软、硬件体系结构对数据资料进行收集、存储和处理，并帮助决策者进行决策服务。

全球最大的电子商务公司亚马逊公司关于大数据的定义更为简单直接，大数据就是指超越一台计算机处理能力的数据量。

综上几个代表性的定义可知，大数据概念较为宽泛，具备“仁者见仁，智者见智”的特点。大数据除具备数据量大外、还具备数据的多样性，关键的是利用现有的技术水平和处理模式，无法在一个合理的时间范围内得到所需要的信息资产。这也说明在大数据时代，我们要关心大数据本身的特点，更要关心大数据所具备的功能特性，即能够帮助人们做什么。

在信息科技发展道路上，与大数据相近的另一个术语是海量数据（vastdata），他们都是数据化时代出现的一种现象。他们具有共同的特点是数量大，但两者之间也存在某些显著差异。Informatica中国区首席产品顾问但彬认为：大数据包含海量数据，但在形式多样性、内容复杂性方面远超越海量数据，因此在理解大数据时可以认为是由海量数据＋复杂类型的数据构成。正是两者之间存在差异，导致在进行大数据应用时仍然存在许多技术障碍，无法把海量数据处理技术直接迁移至大数据分析环境中。

5.2.2基本特征

目前在描述大数据特征时，一般均是按照国际数据公司IDC所提的4V模型来刻画，即体量大（Volume）、多样性（Variety）、速度快（Velocity）和价值（Value）。

1．体量大

当前数据正以前所未有的速度快速聚集和增长，大数据时代已经到来。在电商、社交网络、能源、制造业和服务业等领域都已积累了TB级、PB级甚至EB级的数据量。全球著名连锁超市沃尔玛每小时处理100多万条用户记录信息，维护着超过2.5PB的客户关系数据库；在科学实验方面，如2008年投入使用的大型强子对撞机每年产生25PB的数据。在大数据时代，数据存储单位逐渐被PB、EB、ZB、YB所替代。

为说明大数据的数量级别，对常用的计量单位KB、MB、GB、TB、PB、EB、ZB、YB等之间的换算关系描述如下：

1KB=1024B=21°B

1MB=1024KB=220B

1GB=1024MB=230B

1TB=1024GB=240B

1PB=1024TB=250B

1EB=1024PB=260B

1ZB=1024EB=270B

1YB=1024ZB=280B

1DB=1024YB=2°B

1NB=1024DB=2100B

在计算机存储中以字节（B）为基本计量单位，1字节存储8位（bit）的二进制信息，即1B＝8bit。通常情况下，一个汉字占用两个字节的存储空间，一个英文字母占一个字节的存储空间。四大名著中《红楼梦》共计约87万字，若用1EB的存储容器可以存储约6626亿部红楼梦，可见EB存储单位的级别之大。

近年来，数据快速增长趋势一直持续。根据国际数据公司（IDC）在《数据宇宙》报告中揭晓，2008年全球数据量仅为0.5ZB，两年后2010年就达到1.2ZB，人类社会正式进入ZB时代