大数据、云算、物联网.docVIP

大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似，也将具备互联网虚拟感觉，虚拟运动，虚拟中枢，虚拟记忆神经系统” ，并绘制了一幅互联网虚拟大脑结构图。 根据这一观点，我们尝试分析目前互联网最流行的四个概念——大数据，云计算，物联网和移动互联网与传统互联网之间的关系。 从这幅图中我们可以看出： 物联网对应了互联网的感觉和运动神经系统。 云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。 大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。 包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。 作为数据存储巨头，大数据理念是，首先从“大”入手，“大”肯定是指大型数据集，一般在10TB规模左右。很多用户把多个数据集放在一起，形成PB级的数据量。同时从数据源来谈，大数据是指这些数据来自多种数据源，以实时、迭代的方式来实现。 物联网所需要感受的物件对象范围非常之宽，物联网收集数据，我们刚刚说虚拟东西也是物联网对象，我们看很多东西收集，如浏览器、有哪些信誉好的足球投注网站引擎、智能终端、游戏终端、GPS等，他通过大家日常网络留下痕迹和脚印获取大量的数据。 物联网产生大数据。美国人前几年医院一年产生500个数据，IMT1。4TB数据等各种的数据通过传感器产生，也有在网上直接产生的，我们现在处于大数 据时代，物联网一分钟可以产生非常多的东西，苹果下载2万余次，一分钟会上传10万条新微博，全世界物联网上虚拟网络上，产生了大量的数据。 国外的这些公司数据量不一定有中国大，中国淘宝网在双十一一天创收10.5亿，新浪微博晚上有100万以上的响应请求，中国联通也进行大数据搜集，他们以前给用户每一个月发一个帐单，很多用户认为我没有上这么多，中国联通改制就详细记录客户的上网记录一秒钟83万条。 虚拟运行管理产生数据量更大，这个比较是美国，每天是80个，发动机引擎收据588，企业资源管理客户关系管理等现在是大数据，企业本身也是每时每刻产生大量数据。 2012年IDC公司指出在2005年由机器产生的数据占到数据总量的11%，2020增加到42%。比如说医疗，现在到医院看病都要CT，清晰度很高 300多兆，一个病人CT影响往往多大两千幅，数据量已经到了几十个GB，如今中国大城市的医院每天门诊上完人，全国每年住院已经达到了两亿人次，按照医 疗行业的相关规定，一个患者的数据通常需要保留50年以上。 物联网产生的大数据 与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的，更大的不同是它的高增长率。物联网的数据有明显的颗粒性，其数据通常带 有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据，但不是人与人的交往信息，而是物与物，物与人的社会合作信息。 物联网的混搭将使物联网的数据变得更有用，将物联网感知的数据与通过社会媒体获得的数据结合，也就是人跟机器的社会联网，将使决策更科学。 与隐私与法律有关的特殊性，谁是物联网数据的拥有者，通过物联网可以控制家用电器。 最后，大数据助力物联网，不仅仅是收集传感性的数据，实物跟虚拟物要结合起来。今天北京交通堵塞，但是并不知道堵塞原因，如果政府发布消息和市民微博发布消息结合起来就知道发生什么事，物联网要过滤，过滤要有一定模式。 决策的时候还要考虑发布什么东西，会带来什么影响，最近有地震，他能预测60%地震，总有一天会说准。 物联网数据挖掘涉及到数据存储，从实物虚拟物获取存储，然后进行一些虚拟化和找出数据摘要，是要加标签的。 数据挖掘模式，合并压缩、清洗过滤、格式转换，法阶段数据分析、知识发现、可视化、数据阶段，关联规则，分类、聚类、序列、路径。因此后面工作更大更重要而且更难。 最近大家关注PM2.5，另外云南西北边、西川西南边干旱容易发生火灾，利用雷达、飞机可以搜集数据，也需要进行分析，然后产生判断。 在水面取样，通过卫星发出去，利用云计算、中心数据挖掘，河流的环境污染，数字化的模式，我们可以发现有的地方有环境污染，所污染本身需要异源数据，除 了传感器、物联网数据有噪声的不干净的，所以需要多种数据的结合，历史数据的挖掘，然后进行分析预感、预警，所以数据后面的处理，食品现在也是大家所关注 的，手机拍下来食品到后台去查，是哪个公司的食品，在什么地方生产，食品生产日期等等，包括食品安全不安全，营养成分怎么样，食品监控，运用后台数据等 等。最近禽流