大数据与云计算培训文件资料.pptx

大数据、云计算 2012.10 何为大？信息度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes Google每天要处理超过24PB的数据 Facebook每天更新的照片量超过1 000万张 YouTube每月接待多达8亿的访客，平均每一秒钟就会有一段长度在一小时以上的视频上传 twitter上的信息量几乎每年翻一倍，截至2012年，每天都会发布超过4亿条微博 数据都从哪里来？ 互联网企业：SNS、微博、视频网站、电子商务网站 物联网、移动设备、终端中的商品、个人位置、传感器采集的数据 联通、移动、电信等通信和互联网运营商 天文望远镜拍摄的图像、视频数据、气象学里面的卫星云图数据 表面张力 vs 万有引力 量变导致质变 一个月吃一碗饭 一天吃一碗饭 一餐吃一碗饭 一个小时吃一碗饭 一分钟吃一碗饭 一秒吃一碗饭 这么多数据要放哪里？怎样处理？ 不要问我从哪里来的“不知所云” 通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。 服务特征 用户只需要一台具备基本计算能力的计算设备以及一个有效的互联网连接，就可以随时随地使用该服务 随时随地 用户具备使用该服务的需求，但是并不具备独立提供该服务的经济或者技术条件 低成本 云计算平台提供计算能力（包括处理器、内存、存储、网络接口），但是并不关心用户的应用类型 按需供应 按量计费 把计算能力像水和电一样提供给用户 什么是云计算 权威定义 Wiki定义： 云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。 美国国家标准与技术研究院（NIST）定义： 云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。 Google の野望 “浏览器＝操作系统” IaaS基础设施云 (代表：亚马逊的S3) SaaS 应用云 （代表：salesforce的CRM） PaaS 平台云 （代表：Google App Engine） XX 就是服务 亚马逊IaaS应用案例：纽约时报 16 Google 云计算SaaS 软件终结者 可提供随需应用的客户关系管理(On-demandCRM) 允许客户与独立软件供应商定制并整合其产品，同时建立他们各自所需的应用软件 Salesforce CRM 价格分别有5美元，17美元，65美元，125美元和250美元的不同版本 云计算的演化 电厂模式 利用电厂的规模效应，来降低电力的价格，并让用户使用起来更方便 效用计算 1960年的计算设备的价格是非常高昂的，远非普通企业、学校和机构所能承受 网格计算 如何把一个非常巨大的计算问题切分成许多小块，然后分配给许多普通的PC来处理 云计算 需求有了一定的规模，技术也已经成熟 2006年8月9日 Google CEO埃里克·施密特（Eric Schmidt）在有哪些信誉好的足球投注网站引擎大会（SESSanJose 2006） 首次提出“云计算”（CloudComputing）的概念。 1996年，互联网上只有一万多个网站，现在有一亿六千万个 96年能上网的人基本上使用28.8或者33.6Kbps的猫，高速的56Kbps猫直到97年才出来 640×480才是主流，800×600是高端 90年代 1997 2013 1998年 Googol  Google 1 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 000