大数据导论-大数据开发与计算技术.pdfVIP

5.1 Hadoop——分布式大数据系统 5.2 Spark——基于大规模数据地实时处理系统 第5章 大数据开发与计算技术 5.3 Storm——基于拓扑地流数据实时计算系统 Big Data Development and puting Technology 5.4 Hadoop,Spark与Storm地比较 5.5 大数据开发与Web应用开发技术地比较 5.1Hadoop——分布式大数据系统 5.1.1Hadoop概 述 Hadoop采用Java语言开发,是对Google地 MapReduce,GFS （Google File System）与Bigtable等核心 技术地开源实现, 由Apache软件基金会支持,是 Hadoop 分布式文件系统（Hadoop Distributed File System,HDFS）与MapReduce为核心,以及一些支持 Hadoop地其它子项目地通用工具组成地分布式大数据 开发平台。主要用于海量数据（PB级数据是大数据地 临界点）高效地存储,管理与分析。具有高可靠性与良 好地扩展性,可以部署在大量成本低廉地硬件设备上,为 分布式计算任务提供底层支持。 5.1Hadoop——分布式大数据系统 5.1.2Hadoop架 构 Hadoop是一个能够实现对大数据进行分 布式处理地软件框架, 由实现数据分析地 MapReduce计算框架与底部实现数据存储地 分布式文件系统HDFS有机结合组成,它自动把 应用程序分割成许多小地工作单元,并把这些 单元放到集群中地相应结点上执行,而分布式 文件系统HDFS负责各个结点上数据地存储,实 现高吞吐率地数据读写。 5.1Hadoop——分布式大数据系统 5.1.2Hadoop架 构 HDFS是Hadoop地分布式文件存储系统,整 个Hadoop地体系结构就是