如何运行一个MapReduce程序教程.docVIP

  1. 1、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
如何运行一个MapReduce程序教程

如何运行一个Map/Reduce程序 1.执行以下命令启动HDFS和MapReduce:start-all.sh 2.用JPS命令检查一下是否正常启动:jps 3.显示如图所示各进程信息,则说明HDFS和MapReduce都已正常启动。 图1.1 启动HDFS和MapReduce 4.打开Eclipe,可以通过图形界面在目录/usr/local/eclipse下双击应用程序,也可以通过linux命令的方式:cd /usr/local/eclipse和./eclipse 图1.2 选择工作空间目录 图1.3 Eclipse打开界面 5.在菜单栏依次点击Windows→Open Perspective→Other,选择“Map/Reduce”,点击“OK” 图1.4 图1.5 选择“Map/Reduce” 6.进行完上述步骤后,在eclipse的左边一栏,会出现一个蓝色的大象标志。 图1.6 蓝色大象标志 7.点击蓝色大象标志会出现如下图所示的界面。 图1.7 8.点击右下角的蓝色大象的标志,新建“new hadoop location”,定义hadoop的位置,用于运行MapReduce应用,点击完成“Finish”。 图1.8 图1.9 注:图1.9中host一栏可以填“localhost”,也可以填linux虚拟机的IP地址(通过“ifconfig -a”命令查看)。本来我填的是“localhost”,结果DFS连接不上本机,然后我改成了IP地址,就可以连接上了。本来localhost就是本机,这里大家可以先用localhost,不行再填ip地址。 9.点击Windows→Preferences 图 1.10 选择Hadoop Map/Reduce →选择Hadoop的安装目录,点击“Apply”,点击“OK”。 图 1.11 12.新建一个Map/Reduce工程,依次单击File→New→Project 图1.12 新建一个Map/Reduce工程 选择Map/Reduce下的“Map/Reduce Project ” ,点击“Next ” 图 1.13 14.填写你要建立的工程名称,点击“Next”,再点击“Finish”。这样就建好了一个Map/Reduce工程。 图 1.14 图 1.15 图 1.16 新建的工程 15.在你新建的工程,点击“src”→ “New” →“Class ”,新建一个类。填写类名,然后“Finish”。 图1.17 新建类 图1.18 填写类名 16.然后开始进行Java编程,这里我使用的是Hadoop的例子程序WordCount.Hadoop的例子程序所在的目录是:/usr/local/hadoop/src/examples/org/apache/hadoop/example/ 直接将代码贴上去即可,注意删掉代码的第一行。 图1.19 java编程 17.在文件系统的/usr/local/hadoop目录下新建一个“input”目录,在里面新建一个文件夹“file”,然后对其进行编辑,在里面输入你想要计数的单词,我输入的是“hello world”。 在“DFS Locations”下的/usr/local/hadoop处右键,选择“Upload directory DFS”,找到“usr/local/hadoop”目录下的“input”目录,点击“OK”。 图1.20 选择上传到DFS的目录 图2.21 选择上传的输入文件夹 18.刷新后,可以看到“hadoop”下的子目录由1个变成了2个,多出来的那个刚好是“input”目录。 图1.22 成功上传input目录 19.右击“WordCount”→ “Run As”→“Run Configurations” 图1.23 运行设置 20.选择“Java Application”下的“New_configuration”,填写你建立的工程名和主类名,然后“Apply”. 图1.24 填写工程名和主类名 21.配置参数“Program arguments”如下,点击“Apply”。 图1.25 设置程序参数 注:如果在前面第8步host一栏填写的是localhost,那么配置如下: 图1.26 设置程序参数(2) 22.点击“Run”,在下面的“Console”一栏,可以看到运行结果。如果全部都是红色,则表示正确。有蓝色,则表示有错误。 图1.27 运行程序23.右击“hadoop”,刷新“Refresh” 可以看到“hadoop”下面增加了“Output”文件。 图1.28 新增的output文件 24.点开“Output”,可以看到运行结果。 图1.29 运行结果 注:在运行时,如果出现错误,有一种错误提示是: “Syntax?

文档评论(0)

shuwkb + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档