Hadoop安装及基于Eclipse的开发环境部署(限IT组内部使用)20150427讲述.docxVIP

Hadoop安装及基于Eclipse的开发环境部署(限IT组内部使用)20150427讲述.docx

  1. 1、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Hadoop安装及基于Eclipse的开发环境部署(限IT组内部使用)20150427讲述

Hadoop安装及基于Eclipse的开发环境部署 1、Hadoop-1.2.1安装 1.1 Hadoop安装工具 操作系统:Win7系统 虚拟机软件:VMware Workstation 10 Linux系统安装包:ubuntukylin-14.04-desktop-i386.iso(32位) JDK包:jdk-8u45-linux-i586.gz Hadoop-1.2.1程序安装包(非源码): HYPERLINK /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 1.2 Hadoop安装步骤(部分详细内容可参见《Hadoop安装指南》) Ubuntu虚拟机安装(建议安装32位Ubuntu操作系统) Windows与linux之间的共享文件夹设置,实现windows与linux之间的文件共享;具体设置如下图: 设置完成后,可以看到一个共享文件夹,通过该文件夹可以实现windows与linux之间的文件共享;该共享文件夹默认在linux系统的/mnt/hgfs目录下。 ssh安装(ubuntu默认没有安装ssh,需要通过apt-get install 进行安装,这里建议暂时不要生成公钥) 网络连接配置; 网络连接配置的主要目的是保证能够使用Xshell等工具链接虚拟机进行操作。由于采用NAT模式没有连接成功,本文建议使用自定义的虚拟网络进行连接,具体步骤及设置如下: 1)本地虚拟网络IP设置;具体设置如图(可以根据自己的情况设置IP(如),该IP将作为虚拟机的网关): 2)虚拟机网络适配器设置;建议采用自定义虚拟网络连接,设置如下: 3)虚拟机网络IP设置;主要目的是设置自定义的IP、网关等;具体设置流程如下: 4)当网络连接设置完成后,使用Ubuntu:service networking restart(centOS:service network restart)命令重启虚拟机网络服务;注意,重启网络服务后,建议在本机的DOS环境下ping一下刚刚在虚拟机中设置的IP地址,如果ping不通,可能是网卡启动失败,可以使用ifconfig eth0 up命令启动网卡(eh0是网卡名称,可以在网路连接设置中查看网卡名称)。 通过Xshell连接虚拟机进行终端操作;Xshell?是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。使用Xshell的好处是它相比通过虚拟机界面终端进行操作而言,要流畅得多。使用Xshell的前提是必须先安装sshd,可以使用apt-get install openssh*对sshd进行安装。具体连接设置如下图所示: 修改etc目录下的hosts、hostname配置;hosts用来配置虚拟机的IP(上述网络连接设置的IP地址)与虚拟机名称的对应关系,hostname则用来配置虚拟机的名称,默认为localhost。具体设置如下: etc/hosts文件: 30 Master //IP地址与主机名称对应 31 Slave1 32 Slave2 etc/hostname文件:(每个slave节点设置成对应的主机名称) Master Host设置完成后,不要忘了重启虚拟机!!! 安装javaSDK(JDK1.8) 首先下载jdk安装包,可以在官网/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载,然后通过共享文件夹共享到linux系统中,本机安装在/opt目录下; 修改/etc/profile的环境变量配置信息; JAVA环境变量设置: export JAVA_HOME=/opt/jdk1.8.0_45 //java安装目录 export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH Hadoop安装配置;主要是hadoop的环境变量设置以及配置文件设置。 首先在本地windows环境下通过官网下载hadoop-1.2.1,下载地址/apache/hadoop/common/ 通过/mnt/hdfs共享文件夹将下载的hadoop安装包cp到/opt目录(可以根据自己的喜好设置安装目录),操作命令:cp hadoop-1.2.1.tar.gz /opt; cd到/opt目录,执行tar -zxvf hadoop-1.2.1.tar.gz解压安装包; hadoop环境变量设置;通过修改etc/

文档评论(0)

jiayou10 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

版权声明书
用户编号:8133070117000003

1亿VIP精品文档

相关文档