使用Struts2和Tomcat实现文件上传到Hadoop.docVIP

使用Struts2和Tomcat实现文件上传到Hadoop 本文档所采用的版本： Struts版本2.3.14 （对struts2的版本无严格要求，均可） Hadoop版本1.0.4 （对Hadoop的版本无严格要求） 前提要求： Hadoop已经正确安装，并正在成功运行 对Hadoop的版本无严格要求，仅以Hadoop1.0.4为例说明问题。 添加struts2的jar包到WEB—INF的lib文件夹下 把hadoop开发需要用到的jar包也放到WEB—INF的lib文件夹下。主要包括： hadoop-core-1.0.4.jar commons-lang-2.4.jar commons-configuration-1.6.jar 所需jar包如下图所示： 几点说明： （1）Struts 2.3.14中使用commons-lang3-3.1.jar，而Hadoop1.0.4中使用commons-lang-2.4.jar，所以需要添加commons-lang-2.4.jar，两者的package名称不同。 （2）如果缺少jar包，运行时会报错，可以根据错误提示找到出错的位置和缺少的jar包。附录A中列出了我碰到的几个错误。 3. 新建一个resources文件夹，在里面新建一个“core-site.xml”，主要说明hadoop namenode的IP地址和端口号，内容如下【其中：hdfs://28:54310的配置信息根据自己的Hadoop配置进行修改。】 ： configuration property name/name valuehdfs://28:54310/value /property /configuration hadoop提供的开发包API可以通过在线文档查看， http: // /docs/stable/api/index.html? ? http: // /docs/current/api/ 本次主要使用了以下hadoop类： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; 用户权限与访问控制问题 hadoop中有文件访问控制，每个用户只能访问自己文件夹中的文件，文件夹的名字就是你当前系统的登录名。如果你想访问其它用户（例如Bob）的文件，必须在你本机（客户端）新建一个用户名Bob，然后以Bob用户登录，就可以访问用户Bob的文件了。可见，hadoop的文件访问控制还是比较简单的。 还有一个方法可以更方便的访问和控制hadoop中的文件，就是在hadoop的各个结点都编辑hadoop的conf目录下的配置文件hdfs-site.xml，添加如下内容 property namedfs.permissions/name valuefalse/value /property 配置说明：dfs.permissions值为false，就是告诉hadoop去除权限检查。然后重新启动所有结点的HDFS服务。 附录A：缺少jar包所提示的错误