Google云计算技术幻灯片.pptVIP

* * * * * * * * * * * * * * * * * * 做为SaaS类的应用而言，用户在具体使用这些应用时，应用的功能实现在云端实现，所使用到的存储也在云端实现，它们对用户而言是透明的。而对于Google App Engine而言，用户应用计算的实现是在云端完成，具体而言用户并不清楚这些计算能力是由哪些CPU完成的。因此呢，这些应用都是典型的云计算应用。 * * * * * * * * * * * * * * * * * * * * * * * * * Google云计算关键技术——MapReduce MapReduce Google提出的一个软件架构，是一种处理海量数据的并行编程模式 用于大规模数据集（通常大于1TB）的并行运算 MapReduce实现了Map和Reduce两个功能 Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集 Reduce对结果集进行分类和归纳 Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻 Google云计算关键技术——MapReduce 业务处理流程 Google云计算关键技术——MapReduce 案例：单词记数问题(Word Count) 给定一个巨大的文本（如1TB），如何计算单词出现的数目？ Google云计算关键技术——MapReduce 使用MapReduce求解该问题 定义Map和Reduce函数 Google云计算关键技术——MapReduce 使用MapReduce求解该问题 Step 1: 自动对文本进行分割 Google云计算关键技术——MapReduce 使用MapReduce求解该问题 Step 2:在分割之后的每一对key,value进行用户定义的Map进行处理，再生成新的key,value对 Google云计算关键技术——MapReduce 使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序(系统自动完成） Google云计算关键技术——MapReduce 使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果 Google云计算关键技术——MapReduce 实践证明，MapReduce是出色的分布式计算模型 Google宣布，其对分布于1000台计算机上的1TB数据进行排序仅仅需要68s 对4000台计算机上的1PB数据进行排序处理仅需要6小时2分钟（每次测试至少会损坏1块硬盘） 在08年1月份，Google MapReduce平均每天的数据处理量是20PB，相当于美国国会图书馆当年5月份存档网络数据的240倍 Google云计算关键技术——Chubby 分布式一致性问题 在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到 Google云计算关键技术——Chubby Google云计算中的分布式一致性问题 例如，GFS在物理上往往包含多个Master，但需要在逻辑上确定唯一的Master。如何确定？这是一个分布式一致性问题 Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统 Google云计算关键技术——Chubby Chubby是一个文件系统，如何提供“锁”服务？ Chubby中的锁就是文件 在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁” 用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息 因此，通过Chubby可以解决Google云计算中的分布式一致性问题 Google云计算关键技术——BigTable 为什么需要设计BigTable？ Google需要存储的数据种类繁多 网页，地图数据，邮件…… 如何使用统一的方式存储各类数据？ 海量的服务请求 如何快速地从海量信息中寻找需要的数据？ BigTable：基于GFS和Chubby的分布式存储系统 对数据进行结构化存储和管理 与GFS的区别 Google云计算关键技术——BigTable BigTable的设计目标 具有广泛的适应性 支持Google系列产品的存储需求 具有很强的可扩展性 根据需要随时加入或撤销服务器 高可用性 尽管单个节点易损，但要确保几乎所有的情况下系统都可用 简单性 简单的底层系统可减少系统出错概率，为上层开发带来便利 Google云计算关键技术——BigTable BigTable的数据模型 总体上，与关系数据库中的