Nutch 安装使用.docxVIP

Nutch安裝使用前言環境step 1 安裝好Hadoop單機版叢集版step 2 nutch下載與安裝2.0 設定環境2.1 下載 nutch 並解壓縮2.2 部屬hadoop,nutch目錄結構2.3 複製函式庫檔step 3 編輯設定檔3.1 $NUTCH_HOME/conf/hadoop-env.sh3.2 $NUTCH_HOME/conf/nutch-site.xml3.3 $NUTCH_HOME/conf/crawl-urlfilter.txt3.4 環境若要設定成叢集才要做step 4 執行nutch4.1 編輯url清單4.2 上傳清單到HDFS4.3 執行nutch crawlstep 5 瀏覽搜尋結果5.1 安裝tomcat5.1 tomcat server設定5.3 下載crawl結果5.4 設定nutch的搜尋引擎頁面到tomcat5.5 設定搜尋引擎內容的來源路徑5.6 啟動tomcatstep 6 享受結果前言?做完之前的實做，已經對hadoop有一定的體驗，然而各位也許心中有些疑問，就是我學了hadoop到底可以用來..?，因此在此介紹一個hadoop的應用，搜尋引擎nutch此篇的重點在於完整的安裝nutch用hadoop的角度來架設nutch解決中文亂碼問題搜尋引擎不只是找網頁內的資料，也能爬到網頁內的檔案(如pdf,msword) 也可運行在多台node 環境?目錄/opt/nutchnutch家目錄/opt/nutch/conf nutch設定檔/opt/hadoophadoop家目錄/opt/hadoop/conf hadoop設定檔step 1 安裝好Hadoop?單機版?可以用實做一的方法來安裝單機執行~$ cd /opt/opt$ sudowget /Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz/opt$ sudo tar zxvf hadoop-0.18.3.tar.gz/opt$ sudomv hadoop-0.18.3/ hadoop/opt$ sudochown -R hadooper:hadooperhadoop/opt$ cdhadoop//opt/hadoop$ gedit conf/hadoop-env.sh在任一行內貼上export JAVA_HOME=/usr/lib/jvm/java-6-sunexport HADOOP_HOME=/opt/hadoopexport HADOOP_CONF_DIR=/opt/hadoop/confexport HADOOP_LOG_DIR=/tmp/hadoop/logsexport HADOOP_PID_DIR=/tmp/hadoop/pid執行/opt/hadoop$ gedit conf/hadoop-site.xml用以下內容取代整個檔案configuration property name/name valuehdfs://localhost:9000//value description /description /property property namemapred.job.tracker/name valuelocalhost:9001/value description /description /property property namehadoop.tmp.dir/name value/tmp/hadoop/hadoop-${}/value description /description /property/configuration接著執行/opt/hadoop$ bin/hadoopnamenode -format/opt/hadoop$ bin/start-all.sh啟動之後，可以檢查以下網址，來觀看服務是否正常。Hadoop 管理介面Hadoop Task Tracker 狀態Hadoop DFS 狀態叢集版?請參考實作三step 2 nutch下載與安裝?2.0 設定環境?系統環境變數內加入java_home的路徑$ sudosu -# echo export JAVA_HOME=/usr/lib/jvm/java-6-sun /etc/bash.bashrc# chown -R hadooper /opt# exit# exit停止原本的hadoop$ cd /opt/hadoop$ bin/stop-all.sh2.1 下載nutch並解壓縮?nutch 1.0 (2009/03/28 release ) $ cd /opt$ wge