大数据及其相关新兴技术剖析.ppt

* * * * * * * * * * * * * * * * * * * * * * 6、高性能计算与高性能计算机 并行化方法与编程模型 并行化方法：最常使用区域分解法。 编程模型：最常使用数据并行。 与社会相关的新兴应用 新应用的共性：最近几年，与社会相关的应用急剧增加与传统的计算应用分享市场空间，其共性是： 应用问题常常由图来定义，而不是离散的R3空间。 计算过程中的交互常是全局性的，而不是通过边界来交换信息的。 新出现的应用，无相应的使用经验和成熟的软件。 很多应用常集中在与社会相关的国计民生方面。 研究侧重点 建立诚信机制：包括硬件、软件、人机界面、安全协议的使用等。 巨量的数据，而不是科学计算，将是此类应用的主要处理对象，I/O是最为关心的。 数据的安全、属主、管理等带来一系列技术、法律和人道等问题。 * 7、高性能计算面临大数据的挑战 7.1 计算模型的转变：从Scale-up到Scale-out 传统的高性能（High Performance）并行处理模型基于“Scale-up” 所谓机器的性能（Performance）是指：机器能做计算的能力（Capability，Ability to do computation）。 所谓“Scale-up”意思是指：在并行系统中，利用增多处理器的数目而维持机器性能（即计算能力）的提高。 大数据使用的是高通量（High Throughput）并行处理模型“Scale-out” 所谓吞吐量（Throughput）是指：穿过系统（进程）的数据项（Items）的数目（Amount of number of items）。 所谓“Scale-out”意思是指：在分布式系统中，利用连续不断地加入低成本的计算和存储节点而维持系统吞吐率的增加。 * 7、高性能计算面临大数据的挑战 7.2 系统结构的转变：从HP到HT 传统的高性能计算使用大规模并行处理结构 大规模并行处理（MPP：Massively Parallel Processing）系统结构 MPP特点 处理器节点采用商用微处理器。 系统中有物理上分布的存储系统。 处理器节点间采用定制的高带宽、低延迟的互连网络。 整个系统扩充到成千上万乃至更多的处理器。 * 7、高性能计算面临大数据的挑战 大数据处理利用高通量分布处理结构 分布自治的工作站机群（COW：Cluster of Workstations）系统结构 机群的特点 每个节点是一台独立自治的PC机或服务器工作站等。 各节点之间通过标准商用或低成本的网络（千兆位以太网等）连接。 整个系统可包含成百上千乃至更多的服务器。 为适应大数据需要，系统中需配置不同形式的诸如固态存储器（SSD）和高容量的SATA硬盘等磁盘阵列。 * 7.3 编程模型的转变：从BSP到MR 大规模并行编程常使用大同步并行模型 大同步并行（BSP：Bulk Synchronous Parallel）计算模型 计算步骤在BSP模型中，计算是由一系列超步（Supper step）组成，在每一个超步中，首先各个处理器（或进程）均各自执行自己的局部计算；然后通过接收/发送施行全局通信；最后施行路障同步。如此重复直至完成计算。 7、高性能计算面临大数据的挑战 * 7、高性能计算面临大数据的挑战 大数据并行处理常使用映射-归约引擎 映射-归约（MR：Map-Reduce）大数据处理引擎：实际上是一种先“分”后“合”的数据处理方式。 右图所示，采用MapReduce来统计集合形状数量：①先把任务分配到两个节点上分别并行统计，②把结果汇总，得到最终结果。 处理作业（Job）步骤：在MR中，一个作业（Job）被提交给主节点（Master node），由其将任务（Tasks）指派给各个工作节点（Worker nodes），进行分布并行处理：即经过“Map”将存储在DFS中的海量数据分割成若干部分，由各个工作节点并行处理；经“Reduce”把各工作节点处理后的结果，进行汇总写入到输出DFS中去。 * 7、高性能计算面临大数据的挑战 7.4 应用方式的转变 高性能计算（HPC）的应用 应用对象（用户）：基本上是从事科学研究的大型工程计算的科学家和工程师们。 应用模式：高性能计算（HPC）运营模式基本上是采用向计算中心事先预约，独占计算资源，分时使用，统一付费的传统科学工程计算模式。 大数据处理的应用 应用对象（用户）：大都是广大的大数据分析从业人员。 应用模式：大数据处理的运营模式是从业人员通过互联网络，对基于云计算的基础设施（存储和计算资源等）施行资源租用、即用即约、虚拟占用、按量付费的云计算运营模式。 * 7、高性能计算面临大数据的挑战 7.5 其他方面的转变 计算模式的转变