在windows上安装hadoop和nutch.docVIP

在windows上安装hadoop和nutch 一、安装cygwin 1、双击setup开始安装 2、在以下画面选install from Local Directory 3、在以下画面选择把cygwin安装在什么位置，一般安装在空间比较大的盘 4、在以下画面将选项“Hide obsolete packages”去掉，并按view按钮显示Full（所有）安装包；在不改变默认选择的情况下，并选择以下包：XFree86-base、 XFree86-bin、XFree86-etc、XFree86-lib、XFree86-prog、gawk、gcc、gcc-g++、gnuplot、gzip、make、patch、perl、tar和penssh。选定一个安装包的方法是：先找到，然后在其前面的Skip上点一下。完成后点击“下一步”开始安装。 注意：上面的有些包不是一定要装，但装了也没坏处，这个是在cygwin上安装NS2的必备。 5、安装完成后会在桌面上有一个Cygwin的图标；双击进入cygwin，第一次运行系统会设置用户目录，用户目录为/home/Administrator，后面是windows用户名。这个目录在安装目录中，可以通过windows文件拷贝命令将文件拷入、拷出、建立目录和删除等。 文件编辑使用windows的文件编辑器，只要保存在相应目录就可以了，一般情况只对/home/Administrator目录进行操作，其他是cygwin系统文件，更改将导致cygwin失效。 Cygwin是一个linux模拟器，进入cygwin能使用的命令和linux一样；常用的有： pwd：查看当前路径名，相当于win的cd ls：相当于win的dir cd：相当于win的cd；但如果只输入cd，则会进入用户的Home目录，就是上面的/home/Administrator mkdir：建立目录 等等。。。；退出cygwin使用命令exit。 二、安装hadoop 1、win中安装好java 2、设置cygwin的环境变量 编辑/home/Administrator/.bashrc文件，在文件最后加入下列行 export JAVA_HOME=”/cygdrive/c/Program Files/Java/jdk1.5.0_06” export classpath=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 注意：/cygdrive/c表示C盘；java的对应目录根据实际情况调整；Administrator是win登录用户名，也是根据实际情况变化。JAVA_HOME的引号是因为目录有空格，没有的话可不要。 要重新登录（退出再进）才能使配置生效！ 3、安装hadoop 拷贝hadoop-0.15.3.tar到/home/Administrator中 解压：tar xvfz hadoop-0.15.3.tar.gz 把解压后目录名改为hadoop（方便操作） 修改配置文件/home/Administrator/.bashrc文件，在文件最后加入下列行 export HADOOP_HOME=/home/Administrator/hadoop export PATH=$PATH:$HADOOP_HOME/bin 4、配置 hadoop/conf/目录下，打开slaves文件，该文件用来指定所有的从节点，一行指定一个主机名。这里我们就指定localhost，表示hadoop在一台机器上运行。 在hadoop目录下建立目录logs、tmp 修改hadoop/conf/目录下的hadoop-site.xml如下： ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property name/name valuelocalhost:9000/value descriptionThe name of the default file system. Either the literal string local or a host:port for DFS./description /property property namemapred.job.tracker/name valuelocalhost:9001/value descriptionThe host and port that the MapReduce job