大数据与分布式计算.pptVIP

大数据与分布式计算 HDFS Hadoop Distributed File System 1990年，一个普通的硬盘驱动器可存储1370 MB的数据并拥有4.4 MB/s的传输速度 ，所以，只需五分钟的时间就可以读取整个磁盘的数据。 20年过去了，1 TB级别的磁盘驱动器是很正常的，但是数据传输的速度却在100 MB/s左右。所以它需要花两个半小时以上的时间读取整个驱动器的数据。 从一个驱动器上读取所有的数据需要很长的时间，写甚至更慢。 如何解决？ 磁盘损坏数据丢失怎么办？ 如果需要存储计算1000T数据怎么办？ 常用RAID技术 RAID类型 访问速度 数据可靠性 磁盘利用率 RAID0 很快 很低 100% RAID1 很慢 很高 50% RAID10 中等 很高 50% RAID5 较快 较高 （N-1）/N RAID6 较快 较（RAID5）高 （N-2）/N HDFS系统架构 什么是HDFS? Hadoop Distributed File System Hadoop Distributed File System (HDFS) is the primary storage system used by Hadoop applications. HDFS creates multiple replicas of data blocks and distributes them on compute nodes throughout a cluster to enable reliable, extremely rapid computations. HDFS设计目标 HDFS以流式数据访问模式存储超大文件，运行于商用硬件集群上。 超大文件 流式数据访问 一次写入多次读取 商用硬件 不适合HDFS的场景 低延迟的数据访问 大量小文件 超过NameNode的处理能力 多用户任意写入修改文件 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 设计目标 假设： 节点失效是常态 理想： 1. 任何一个节点失效，不影响HDFS服务 2. HDFS可以自动完成副本的复制 HDFS主要组件的功能 NameNode DataNode 存储元数据 存储文件内容 元数据保存在内存中 文件内容保存在磁盘 保存文件,block ，datanode之间的映射关系 维护了block id到datanode本地文件的映射关系 文件 文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3） NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表以及块所在的DataNode等等 DataNode在本地文件系统存储文件块数据，以及块数据的校验和 可以创建、删除、移动或重命名文件，当文件创建、写入和关闭之后不能修改文件内容。 分而治之（Divide and Conquer） 分而治之（Divide and Conquer） 分而治之（Divide and Conquer） MapReduce MapReduce：大规模数据处理 处理海量数据（1TB） 上百/上千CPU实现并行处理 简单地实现以上目的 移动计算比移动数据更划算 分而治之（Divide and Conquer） MapReduce特性 自动实现分布式并行计算 容错 提供状态监控工具 模型抽象简洁，程序员易用 MapReduce 它由称为map和reduce的两部分用户程序组成，然后利用框架在计算机集群上面根据需求运行多个程序实例来处理各个子任务，然后再对结果进行归并。 WordCount MapReduce MapReduce 物理上 MapReduce Hive SQL Sub-queries in from clause Equi-joins Inner Left, Right, full Outer Multi-table Insert Multi-group-by Extensibility Pluggable Map-reduce scripts Pluggable User Defined Functions Pluggable User Defined Types Complex object types: List of Maps Pluggable Data F