《云计算的探讨与运用》.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * 电信云计算总体发展规划 初步构建包含IaaS、PaaS和AaaS的完整服务体系。 IDC 信息化应用云服务 PaaS开放平台 战略合作 ＳａａＳ／ＡａａＳ ＰａａＳ ＩａａＳ 商务领航 号百 弹性存储服务 弹性计算服务 切入点 产品平台发展规划 合作厂家 IBM 微软 微软 IBM Hadoop IBM VMWare Xen ２００９－２０１2 SaaS软件服务 天翼软件广场 /OneApp 移动互联网云服务 内部试验平台 SCE及开放API 灾备与恢复 弹性大容量数据库 先试点后推广，初步形成价值链； 内部应用：以提升性能为目的 IaaS先试点再规模发展； 内部应用：以提升资源效益为主 IT系统整合 移动互联网基础设施整合 外部开放平台 号百整合 内部海量数据处理平台 内部应用 * * 云计算概念 云计算关键技术 云计算与开源 中国电信云计算 云计算开源应用 1 2 3 4 目 录 5 亚马逊云计算AWS-商业应用 ? * 弹性计算云EC2 一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。 简单存储服务S3 一个很大的磁盘驱动或一个SAN。 简单数据库服务Simple DB 为复杂的，结构化数据建立的，支持数据的查找、删除、插入等操作。 微软Azure 虚拟化平台-Xen与KVM? * Xen: 是一个开放源代码虚拟机监视器，由剑桥大学开发。半虚拟化技术，可能需要修改操作系统内核才能支持，不过只要硬件支持就不用做修改，亚马逊使用了Xen提供的虚拟化解决方案. KVM: KVM 是指基于 Linux 内核的虚拟机（Kernel-based Virtual Machine）。 2006 年 10 月，由以色列的 Qumranet 组织开发的一种新的“虚拟机”实现方案。 2007 年 2 月发布的 Linux 2.6.20 内核第一次包含了 KVM 。增加 KVM 到 Linux 内核是 Linux 发展的一个重要里程碑，这也是第一个整合到 Linux 主线内核的虚拟化技术。 Hadoop HDFS -GFS分布式文件系统? * Hadoop HDFS -GFS分布式文件系统(read)? * Hadoop HDFS -GFS分布式文件系统(write)? * Hadoop HDFS 操作命令 * Hadoop MapReduce -google MapReduce 工作流 * SHELL: ~ cat input | grep xxx | sort | uniq -c | cat output mapReduce： Input | Map | Shuffle Sort | Reduce | Output Input：一个Hadoop MapReduce应用通常需要提供一对通过实现合适的接口或抽象类提供的Map和Reduce函数，还应该指明输入/输出的位置（路径）和其他一些运行参数。此外，此阶段还会把输入目录下的大数据文件切分为若干独立的数据块。 Map：MapReduce框架把应用作业的输入看为是一组key, value 键值对，在Map这个阶段，框架会调用用户自定义的Map函数处理每一个key, value 键值对，生成一批新的中间key, value 键值对，这两组键值对的类型可能不同。 Shuffle Sort：为了保证Reduce的输入是Map排好序的输出。在Shuffle阶段，框架通过HTTP为每个Reduce获得所有Map输出中与之相关的key, value 键值对；而在Sort阶段，框架将按照key的值对Reduce的输入进行分组（因为不同map的输出中可能会有相同的key）。通常Shuffle和Sort两个阶段是同时进行的，Reduce的输入也是一边被取回，一边被合并的。 Reduce：此阶段会遍历中间数据，对每一个唯一key，执行用户自定义的Reduce函数（输入参数是key, (list of values)），输出是新的key, value 键值对。 Output：此阶段会把Reduce输出的结果写入输出目录的文件中。这样，一个典型的MapReduce过程就结束了。 Hadoop MapReduce -google MapReduce 执行过程 * Hadoop MapReduce -google MapReduce 并行执行 * Hadoop MapReduce 执行例子监控 * 3:50030/jobtracker.jsp Hadoop ZooKeeper - google chubby 全局锁系统 * 所有服务器在内存保存数据 启动时选择一个