实验3-熟悉常用地HDFS操作-问题详解.docVIP

实用文档 文案大全 实验2熟悉常用的HDFS操作 实验目的 1. 理解HDFS在Hadoop体系结构中的角色； 2. 熟练使用HDFS操作常用的Shell命令； 3. 熟悉HDFS操作常用的Java API。 实验平台 操作系统：Linux Hadoop版本：2.6.0或以上版本 JDK版本：1.6或以上版本 Java IDE：Eclipse 实验内容和要求 编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务： 提示： 部分Shell命令的参数路径只能是本地路径或者HDFS路径。 若Shell命令的参数既可以是本地路径，也可以是HDFS路径时，务必注意区分。为保证操作正确，可指定路径前缀 hdfs:/// 或者 file:/// 注意区分相对路径与绝对路径 具体命令的说明可参考教材或 /docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； Shell命令: 检查文件是否存在: ./hdfs dfs -test -e text.txt(执行完这一句不会输出结果，需要继续输入命令 echo $?) 追加命令: ./hdfs dfs -appendToFile local.txt text.txt 覆盖命令1: ./hdfs dfs -copyFromLocal -f local.txt text.txt 覆盖命令2: ./hdfs dfs -cp -f file:///home/hadoop/local.txt text.txt 也可以使用如下命令实现： （如下代码可视为一行代码，在终端中输入第一行代码后，直到输入 fi 才会真正执行）： if $(./hdfs dfs -test -e text.txt); then $(./hdfs dfs -appendToFile local.txt text.txt); else $(./hdfs dfs -copyFromLocal -f local.txt text.txt); fi Java代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; public class HDFSApi { /** * 判断路径是否存在 */ public static boolean test(Configuration conf, String path) throws IOException { FileSystem fs = FileSystem.get(conf); return fs.exists(new Path(path)); } /** * 复制文件到指定路径 * 若路径已存在，则进行覆盖 */ public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException { FileSystem fs = FileSystem.get(conf); Path localPath = new Path(localFilePath); Path remotePath = new Path(remoteFilePath); /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */ fs.copyFromLocalFile(false, true, localPath, remotePath); fs.close(); } /** * 追加文件内容 */ public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException { FileSystem fs = FileSystem.get(conf); Path remotePath = new Path