hdfs资料整理.pdfVIP

一、HDFS读文件解析 下图描述了在文件读过程中，client、NameNode 和 DataNode 三者之间是如何互动的。 1. client 调用 get 方法得到 HDFS 文件系统的一个实例（FileSystem ）。然后调用它的open 方法。 2. FileSystem 通过 RPC 远程调用 NameNode 决定文件文件的 block 的位置信息。对于每一个 bolck ， NameNode 返回 block 所在的 DataNode （包括副本）的地址。FileSystem 返回 FSDataInputStream 给 client 用来读 数据。FSDataInputStream 封装了 DFSInputStream 用于管理 NameNode 和 DataNode 的IO 。 3. client 调用 FSDataInputStream 的read 方法。 4. DFSInputStream 保存了 block 块所在的 DataNode 的地址信息。DFSInputStream 连接第一个 block 的 DataNode ，read block 数据，传回给 client 。 5. 当第一个block 读完，DFSInputStream 关掉与这个 DataNode 的连接。然后开始第二个block 。 6. 当 client 读结束，调用 FSDataInputStream 的close 方法。 在读的过程中，如果 client 和一个 datanode 通讯时出错，他会连接副本所在的 datanode 。这种 client 直接连 接 datanode 读取数据的设计方法使 HDFS 可以同时相应很多 client 的同时并发。因为数据流量均匀的分布在所有 的datanode 上，NameNode 只负责 block 的位置信息请求。 Linux公社(LinuxIDC.com) 是包括Ubuntu,Fedora,SUSE技术，必威体育精装版IT资讯等Linux专业类网站。 二、HDFS写文件解析 我们看一下创建文件，写文件最后关闭文件的流程。如下图： 1. client 通过调用 FileSystem 的create 方法来创建文件。 2. FileSystem 通过 RPC 调用 NameNode 在文 件系统的名字空间里创建一个文件，这个时候还没有任何 block 信息。FileSystem 返回 FSDataOutputStream 给 client 。FSDataOutputStream 封装了一个 DFSOutputStream 来 处理与 datanodes 和 namenode 之间的通讯。 3. 当 client 写一个 block 数据的时候，DFSOutputStream 把数据分成很多 packet 。FSDataOutputStream 询问 namenode 挑选存储这个 block 以及它的副本的 datanode 列表。这个 datanode 列表组成了一个管道，在上图管道 由三个datanode 组成（备份参数是 3 ），这三个 datanode 的选择有一定的副本放置策略，详细请看下一篇。 4. FSDataOutputStream 把 packet 写进管道的第一个 datanode，然后管道把packet 转发给第二个 datanode， 这样一直转发到最后一个 datanode 。 5. 只有当管道里所有 datanode 都返回写入成功，这个 packet 才算写成功，发送应答给 FSDataOutputStream 。 开始下一个 packet 。 如果某个 datanode 写失败了，会产生如下步骤，但是这些对 client 是透明的。 1) 管道关闭。 2) 正常的 datanode 上正在写的 block 会有一个新 ID （需要和namenode 通信）。这样失败的 datanode 上的 那个不完整的 block 在上报心跳的时候会被删掉。 3) 失败的 datanode 会被移出管道。block 中剩余的packet 继续写入管道的其他两个 datanode 4) namenode 会标记这个 block 的副本个数少于指定值。block 的副本会稍后在另一个