CHIPS内部云计算培训.pptVIP

CHIPS内部云计算培训? 汇报提纲 什么是云计算？ 汇报提纲 关于云的说明 云服务部署模式 云环境架构 云计算:虚拟机 虚拟机通过软件来模拟具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 优点： 提高资源的利用率。多个操作系统可以同时存在和运行于同一个物理平台上（在单个服务器上有可能同时运行数百个虚拟机器）。 有效隔离操作系统和资源。虚拟机中的操作系统崩溃后恢复比较容易，并不会对同一个物理平台上的其它操作系统造成影响，而且比较容易实现操作系统的数据重放和回滚。 云存储:磁盘驱动器 三种典型的存储系统 云存储理想架构 在过去的十多年中集群网络的重要进展之一是可以将成千上万的节点连起来，同时保证高可扩展性和相对较低的通讯开销。 采用商用化的技术来构造可扩展的集群是云存储的基本组件。 搭积木的形式来聚合存储组件。 云传输：广域网性能 Nielsen 法则：终端用户的网络带宽以每年50%的速度增长。 广域网： 一条T1线路的带宽只相当于千兆网的千分之一，许多帧中继线路的带宽只有256Kbits/秒。 Garfinkel 通过测量发现从美国伯克利大学到西雅图的平均网络写带宽大约是5 to 18 Mbits/秒。 我们的测量数据：在格林尼治标准时间下午7点到10点，从英国剑桥大学到中国北京的平均网络带宽大约是1.8 Mbits每秒。 由于广域网物理距离的原因，不可避免的时延也会对带宽造成影响。例如，一个T3链路（44.736 Mbits/秒），当时延超过40ms时，其带宽很快就下降到与T1链路（1.544 Mbits/秒）相当。 云传输可能的解决方案 云环境必须是地理上分布的，因为云的成功在很大程度上决定于其规模效应。 计算和存储相对便宜，然而，由于广域网环境下的低带宽、高延迟和较高的丢包率，使得广域网成为云环境下那块最短的木板。 图灵奖获得者Jim Gray 在2006年就指出在广域网上处理大数据集时，应该将程序传给数据，而不是将数据传给程序。 另外，通过数据压缩、数据的去重等方法来减少网域网上的数据传输流量，降低对网络带宽的需求。采用动态缓存、IP流量管理以及QoS等方法来降低广域网的延迟。 但是，这些方法只能在一定程度上来缓解网络瓶颈问题，不能从根本上解决问题。因此，在设计云架构时，必须要考虑广域网的带宽、延迟和包丢失率所带来的影响。 汇报提纲 汇报提纲 Hadoop平台结构浅析 什么是Hadoop? Hadoop是Apache下面的一个分布式并行计算框架，是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS,其中MapReduce是 Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。 Hadoop的What, Why, How Hadoop框架中最核心的设计就是：MapReduce和HDFS。 MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。 HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 云计算的并行技术基础 汇报提纲 数据量 数据爆炸性增涨(2006,161 EB;2011,1800 EB;年增长率达到60%. IDC报告)。 数据中的绝大部分将存储在世界各地的大型数据中心。 IT基础设施能耗 2006年,美国新建立的数据中心需要消耗的能量=加利福尼亚州所消耗能量的10%（大约5GW），约40亿美金。 英国的1500个数据中心每年消耗的能量和英国第十大城市莱卡斯特所需要的能量相当。 2011年，英国单个数据中心每年在能量上的花费达到大约740万英镑。 计算机集群系统由于采用商用化部件，其能耗问题更为突出。 Google数据中心 Google数据中心以集装箱为单位，每个集装箱有1160台服务器，每个数据 中心有众多集装箱。 Google一次有哪些信誉好的足球投注网站查询的能耗能点亮100瓦的灯泡11秒钟。 Microsoft数据中心 机遇?推动力 大部分企业IT基础设施的利用率只有35%. 还有许多企业的IT资源利用率不到15%（IDC报告）. Google的数据表明其绝大部分服务器的利用率在10%到50%之间。 Why？？？ 突发性的数据访问行为 。 杀手级的应用 任何一项新技术或者新的服务模式的成功，往往是因为其出现在恰当的时间，并且有合适的外因和内因来推动。 杀手级的应用（WWW——互联网）。 云计算之历史渊源： 元计算（Metacomputing）、普适计算（pervasive computing）、 按需计算（On demand computing）、效