大数据概述分析.docxVIP

第5章大数据

5.1大数据概述

5.1.1大数据之源

信息科技核心三要素是信息处理、信息存储和信息传递。经过几十余年的发展，信息科技在这3个方面均取得巨大进步，如信息的处理和存储能力获得成千上万倍的提升、带宽增长速度突破摩尔定律。基础技术的支撑和应用的推动，不断演化出新的处理技术和应用模型，如云计算、物联网、移动互联和智能终端等。这些新型技术和应用正是大数据源源不断产生的源泉，也正是当下成为大数据分析处理的核心技术基础。云存储技术解决数据获取之后的存储问题，基于云存储的分布式计算技术的出现为大数据的分析预测提供可能，同时网络、通信技术的发展为数据在各网络结点之间的快速传递和共享提供底层的物质基础。所以，大数据的诞生是信息技术发展的必然结果。

1．互联网数据源

互联网作为信息交换和网络服务的主要平台，集中大量特征形态各异的数据，成为大数据产生重要的源泉之一。在信息科技发展的历程中，互联网的出现可以比肩于人类社会“火”与“电”的发明，具有里程碑式意义。如今互联网从早期的几台机器联网已发展成全球机器联网模式，可以完全透明化地实施通信交流和资源共享。基于互联网平台的相关服务和应用已经深度融入社会，影响人们的生活工作方式，同时为社会带来巨大的经济效益。2009年阿里巴巴旗下淘宝商城“双十一”营销额为5000万元；2011年同期达到34亿元；2012年的“双十一”为191亿元人民币；2013年中国互联网再次出现奇迹，淘宝商城销售总额达到350亿元。这些新型网络服务的出现改变了传统的行为习惯，并触发新一轮的思维变革。

据2015年，第36次中国互联网应用调查报告可知，中国网民的总体规模上升较快，互联网的普及率约为48.8％，网民人数达到6.7亿。大量网民聚集于网络平台，享受着互联网提供的各种优质资源，如网络新闻、有哪些信誉好的足球投注网站引擎、电子商务、即时通信／社交网络、博客微博、网络音视频和网络游戏等，主动或被动地留下大量网络使用的“足迹”，汇聚成PB或EB数量级的网络数据。2014年小米云用户达到6795.5万人，云端数据总存储量达到47PB，而在2014年单日数存储量最高达到380TB。目前国内个人云存储运营较好的是百度云，在2014年百度云整体的教据存储量超过5EB，平均每个用户存储量约为26.84GB。淘宝网会员约3.7亿，在线商品8.8亿，每天交易产生的数据约20TB。根据我国互联网数据中心的《中国互联网市场洞见：互联网大数据技术创新研究2012》报告显示：截至2011年年底，中国互联网行业持有的数据总量已达的1.9EB，2015年数据持有量增长到8.2EB以上。

国外有哪些信誉好的足球投注网站巨头谷歌公司每天处理的数据量达到24PB，换句话说，谷歌公司每天处理的数据量相当于美国国家图书馆所有纸质出版物所含数据量的上千倍。美国另一知名的社交网站，每天更新的照片数量超过1000万张，每天网民在其网站点击按钮或写评论约30亿次。YouTube流媒体网站每月约有8亿人次的访问量，平均每秒钟就会有一段时长一小时以上的视频上传共享。

2．物联网数据源

2013年中国大数据专家委员会发表的《中国大数据技术与产业发展白皮书》中提出：物联网作为当前信息科技发展中的热点，其应用所产生的数据成为大数据的重要来源之一。物联网究其本质是传感器技术进步的产物。当前各种传感监控网络无处不在，从大气监测、交通路况监测、桥梁矿井的安全监测等，到各种仪器设备状态监控和科学实验的监控传感网络，都长期不间断地返回各种数据，汇聚成大数据。当前在智慧城市建设浪潮中，几乎每个城市都在建立各种监控网络。在城市各个角落部署大量的高清监控摄像头，一个1080P的摄像头按照码流率为8Mbit／s，在一天时间内将会产生86.4GB的视频数据；飞机汽轮机压缩器叶片的监控数据约为588GB／天。形态各异的物联网平台不断自主产生的数据成为大数据主要源泉之一，同时也为大数据的分析处理带来更多的挑战。

3．智能终端数据源

近年来智能终端的大量普及和带宽使用成本的急剧下降，基于通信网络平台所设计的各种服务吸引大量的用户，人们通过智能终端享受网络服务已成为潮流和趋势。这一新的应用方式，对大数据的产生更是起到推波助澜的作用。第36次CNNIC中国互联网络发展状况统计调查表明，2015年相应的手机网民人数达5.94亿，占整个网民人数的88.9％。2012年中国联通研制出“用户上网记录集中查询与分析支撑”，部署了4.5PB的存储空间。目前该系统每天需要处理700亿条上网记录，新增数据量约20TB，而且每年按70％的速度快速增加。中国电信从2009年开始建立八大基地，在运营过程中收集到大量数据，在全国约300座以上的机楼中，存储空间均达到EB级。中国移动凭借其在移动领域内的优势，与全国大量企业和政府机构展开合作，形成一系列基