(精选)并行计算实验指南教学课件.pptVIP

*;提纲;实验概述;*;*;*;*;提纲;单机实现参考;提纲;预备知识;实验1.1： PThread多线程;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;实验1.2： OpenMP;*;*;*;*;*;*;*;*;*;*;*;实验2： Message Passing Interface;Message Passing Interface;Goals of MPI Standard;MPI Basics;MPI starting and finishing;Communicator;Types of MPI Communication;;MPI message protocol;MPI message protocol (Cont.);Message Passing Example;Message Passing Example (Cont.);Message Passing Example (Cont.);实验3： MapReduce Model;;计算问题简单，但求解困难 待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 如何进行并行分布式计算？ 如何分发待处理数据？ 如何处理分布式计算中的错误？ ;MapReduce：大规模数据处理;MapReduce;MapReduce编程模型;map;reduce;MapReduce逻辑过程;并行化;MapReduce的并行执行;整体执行流程;示例：WordCount;map 输出;reduce 的输入;reduce输出;map(String input_key, String input_value): // input_key: document name // input_value: document contents for each word w in input_value: EmitIntermediate(w, 1); reduce(String output_key, Iterator intermediate_values): // output_key: a word // output_values: a list of counts int result = 0; for each v in intermediate_values: result += ParseInt(v); Emit(AsString(result));;倒排索引 (Inverted Index) Algorithm;Inverted Index: Data flow;其他示例;来源于Google 的核心思想。 Hadoop是一个开源的分布式并行计算平台，它主要由MapReduce的算法执行和一个分布式的文件系统两部分组成。 Hadoop起源于Doug Cutting领导开发的Nutch有哪些信誉好的足球投注网站引擎项目的子项目。现在是Apache软件基金会管理的开源项目。;Hadoop工作原理;使用MapReduce思想分析数据;主要参考资料;结束