云平台调查报告.pptxVIP

云平台调查报告;一.现有典型云平台介绍;1.Google app engine;性能;资源;2.Amazon EC2;费用计算;Standard Instances ;3.微软Azure ;费用计算;Compute Instance Size;4.Cloud foundry;费用计算;5.IBM Smart Business Development and Test Cloud;6. Salesforce Heroku;代码开放程度 ;附图1 HeroKu 架构图;二. Hadoop Map/Reduce;1.Hadoop介绍;2.Hadoop核心思想;3.Hadoop分布式架构;图 2. Hadoop 集群配置;4. Hadoop分布式数据处理;4.2 Hadoop的任务调度 每个集群Master Node上有一个 jobtracker，它负责调度 datanode 上的工作。每个 datanode 有一个 tasktracker，它们执行实际工作。jobtracker 和 tasktracker 采用主-从形式，jobtracker 跨 datanode 分发工作，而 tasktracker 执行任务。jobtracker 还检查请求的工作，如果一个 datanode 由于某种原因失败，jobtracker 会重新调度以前的任务。 ;4.3 Hadoop 的数据处理模型 引用 MapReduce 的概念作为处理或生成大型数据集的编程模型。在规范模型中，map 函数处理键值对，这将得出键值对的中间集。然后 reduce 函数会处理这些中间键值对，并合并相关键的值（请参考图 4）。 ;5.Map/Reduce程序模型;Reducing阶段 reducer函数接收来自输入列表的迭代器，它会把这些数据聚合在一起，然后返回一个输出值。 ;根据键划分reduce空间 在MapReduce中，没有一个值是单独的，每一个值都会有一个键与其关联，键标识相关的值。mapping和reducing函数不是仅接收数值（Values），而是（键，值）对。 所有的输出数值一般不会被reduce在一起。有着相同键的所有数值会被一起送到一个reducer里。作用在有着不同键关联的数值列表上的 reduce操作之间是独立执行的。 ;6.Hadoop运行一个Map/Reduce任务原理;图8. Map-Reduce的Job运行;6.Map/Reduce程序开发;自己实现的Mapper/Reducer类必须继承自MapReduceBase类； 以Hadoop源码中的一个词语出现频率统计应用为例（src/examples/org/apache/hadoop/examples/WordCount.java）：;实现Partitioner类，默认为HashPartitioner，其根据key的hash值来决定进入哪个partition； JobConf设置，包括Mapper/Reducer, Partitioner设置，以及输入输出设置。 Map/Reduce程序运行流程（见图9） Map/Reduce应用开发实例： /forfuture1978/archive/2010/11/14/1877086.html Hadoop源???下载： /apache/hadoop/core/stable/ /dyn/closer.cgi/hadoop/core/ ;图9. Map/Reduce程序运行流程