Google云计算产品与技术解析.pptxVIP

知识点GOOGLE云计算

主要产品

3内存大数据分析系统PowerDrill4Google应用程序引擎1大规模分布式系统的监控基础架构Dapper2海量数据交互式分析工具DremelGOOGLE云计算主要产品

当代的互联网的服务，通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具。大规模分布式系统的监控基础架构Dapper

例子：一个前端服务可能对上百台查询服务器发起了一个Web查询，每一个查询都有自己的Index。这个查询可能会被发送到多个的子系统，这些子系统分别用来处理广告、进行拼写检查或是查找一些像图片、视频或新闻这样的特殊结果。根据每个子系统的查询结果进行筛选，得到最终结果，最后汇总到页面上。我们把这种有哪些信誉好的足球投注网站模型称为“全局有哪些信誉好的足球投注网站”（universalsearch）。这一次全局有哪些信誉好的足球投注网站有可能调用上千台服务器，涉及各种服务。而且，用户对有哪些信誉好的足球投注网站的耗时是很敏感的，而任何一个子系统的低效都导致导致最终的有哪些信誉好的足球投注网站耗时。如果一个工程师只能知道这个查询耗时不正常，但是他无从知晓这个问题到底是由哪个服务调用造成的，或者为什么这个调用性能差强人意。大规模分布式系统的监控基础架构Dapper

原因这个工程师可能无法准确的定位到这次全局有哪些信誉好的足球投注网站是调用了哪些服务，因为新的服务、乃至服务上的某个片段，都有可能在任何时间上过线或修改过，有可能是面向用户功能，也有可能是一些例如针对性能或安全认证方面的功能改进。不能苛求这个工程师对所有参与这次全局有哪些信誉好的足球投注网站的服务都了如指掌，每一个服务都有可能是由不同的团队开发或维护的。这些暴露出来的服务或服务器有可能同时还被其他客户端使用，所以这次全局有哪些信誉好的足球投注网站的性能问题甚至有可能是由其他应用造成的。大规模分布式系统的监控基础架构Dapper

Dapper的设计要求无所不在的部署：在使用跟踪系统的进行监控时，即便只有一小部分没被监控到，那么人们对这个系统是不是值得信任都会产生巨大的质疑。持续的监控：监控应该是7x24小时的，毕竟，系统异常或是那些重要的系统行为有可能出现过一次，就很难甚至不太可能重现。大规模分布式系统的监控基础架构Dapper

四个具体的设计目标低消耗：跟踪系统对在线服务的影响应该做到足够小。在一些高度优化过的服务，即使一点点损耗也会很容易察觉到，而且有可能迫使在线服务的部署团队不得不将跟踪系统关停。应用级的透明：对于应用的程序员来说，是不需要知道有跟踪系统这回事的。如果一个跟踪系统想生效，就必须需要依赖应用的开发者主动配合，那么这个跟踪系统也太脆弱了延展性：Google至少在未来几年的服务和集群的规模，监控系统都应该能完全把控住。分析速度快：理想情况是数据存入跟踪仓库后一分钟内就能统计出来。尽管跟踪系统对一小时前的旧数据进行统计也是相当有价值的，但如果跟踪系统能提供足够快的信息反馈，就可以对生产环境下的异常状况做出快速反应。大规模分布式系统的监控基础架构Dapper

3秒分析1PB数据如果在一个PB级别的数据集上面，将任务缩短到秒级，无疑需要大量的并发，假设磁盘的顺序读速度在100MB/S上下，那么在1S内处理1TB数据，意味着至少需要有1万个磁盘的同时并发读操作。机器越多，出问题概率越大，强如MapReduce都会经常遇到慢节点的问题，而Sql查询引擎在如此大的集群规模中实现短时间计算操作，就需要有足够的容错考虑，保证整个分析的速度不被集群中的个别慢节点影响。海量数据交互式分析工具Dremel

海量数据交互式分析工具DremelDremel是MapReduce交互式查询能力不足的补充，和MapReduce一样，Dremel也需要和数据运行在一起，将计算移动到数据上面，所以它需要GFS这样的文件系统作为存储层。在设计之初，Dremel并非是MapReduce的替代品，它只是可以执行非常快的分析，在使用的时候，常常用它来处理MapReduce的结果集或者用来建立分析原型。

Dremel中的数据是用列式存储的，在分析数据的时候，可以只扫描需要的那部分数据，减少CPU和磁盘的访问量。同时，列式存储是压缩友好的，可以综合CPU和磁盘的性能，在存储效率和查询效率上起到平衡的作用。设计思想借鉴了Web有哪些信誉好的足球投注网站中的“查询树”的概念，将一个相对巨大复杂的查询，分割成较小较简单的查询，实现大事化小、小事化了的分布式数据处理思想。和并行DBMS类似，Dremel可以提供了一个SQL-like的接口，就像Hive和Pig那样使用起来非常方便。海量数据交互式分析