- 1、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Hadoop安装及基于Eclipse的开发环境部署(限IT组内部使用)20150427讲述
Hadoop安装及基于Eclipse的开发环境部署
1、Hadoop-1.2.1安装
1.1 Hadoop安装工具
操作系统:Win7系统
虚拟机软件:VMware Workstation 10
Linux系统安装包:ubuntukylin-14.04-desktop-i386.iso(32位)
JDK包:jdk-8u45-linux-i586.gz
Hadoop-1.2.1程序安装包(非源码): HYPERLINK /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
1.2 Hadoop安装步骤(部分详细内容可参见《Hadoop安装指南》)
Ubuntu虚拟机安装(建议安装32位Ubuntu操作系统)
Windows与linux之间的共享文件夹设置,实现windows与linux之间的文件共享;具体设置如下图:
设置完成后,可以看到一个共享文件夹,通过该文件夹可以实现windows与linux之间的文件共享;该共享文件夹默认在linux系统的/mnt/hgfs目录下。
ssh安装(ubuntu默认没有安装ssh,需要通过apt-get install 进行安装,这里建议暂时不要生成公钥)
网络连接配置;
网络连接配置的主要目的是保证能够使用Xshell等工具链接虚拟机进行操作。由于采用NAT模式没有连接成功,本文建议使用自定义的虚拟网络进行连接,具体步骤及设置如下:
1)本地虚拟网络IP设置;具体设置如图(可以根据自己的情况设置IP(如),该IP将作为虚拟机的网关):
2)虚拟机网络适配器设置;建议采用自定义虚拟网络连接,设置如下:
3)虚拟机网络IP设置;主要目的是设置自定义的IP、网关等;具体设置流程如下:
4)当网络连接设置完成后,使用Ubuntu:service networking restart(centOS:service network restart)命令重启虚拟机网络服务;注意,重启网络服务后,建议在本机的DOS环境下ping一下刚刚在虚拟机中设置的IP地址,如果ping不通,可能是网卡启动失败,可以使用ifconfig eth0 up命令启动网卡(eh0是网卡名称,可以在网路连接设置中查看网卡名称)。
通过Xshell连接虚拟机进行终端操作;Xshell?是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。使用Xshell的好处是它相比通过虚拟机界面终端进行操作而言,要流畅得多。使用Xshell的前提是必须先安装sshd,可以使用apt-get install openssh*对sshd进行安装。具体连接设置如下图所示:
修改etc目录下的hosts、hostname配置;hosts用来配置虚拟机的IP(上述网络连接设置的IP地址)与虚拟机名称的对应关系,hostname则用来配置虚拟机的名称,默认为localhost。具体设置如下:
etc/hosts文件:
30 Master //IP地址与主机名称对应
31 Slave1
32 Slave2
etc/hostname文件:(每个slave节点设置成对应的主机名称)
Master
Host设置完成后,不要忘了重启虚拟机!!!
安装javaSDK(JDK1.8)
首先下载jdk安装包,可以在官网/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载,然后通过共享文件夹共享到linux系统中,本机安装在/opt目录下;
修改/etc/profile的环境变量配置信息;
JAVA环境变量设置:
export JAVA_HOME=/opt/jdk1.8.0_45 //java安装目录
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
Hadoop安装配置;主要是hadoop的环境变量设置以及配置文件设置。
首先在本地windows环境下通过官网下载hadoop-1.2.1,下载地址/apache/hadoop/common/
通过/mnt/hdfs共享文件夹将下载的hadoop安装包cp到/opt目录(可以根据自己的喜好设置安装目录),操作命令:cp hadoop-1.2.1.tar.gz /opt;
cd到/opt目录,执行tar -zxvf hadoop-1.2.1.tar.gz解压安装包;
hadoop环境变量设置;通过修改etc/
文档评论(0)