班级硕研资工一甲姓名瑞群学号MA0G0109.pptVIP

班級:碩研資工一甲 姓名:葉瑞群 學號:MA0G0109 使用Ubuntu架設Hadoop分散式檔案雲端運算系統 Outline 一.Hadoop 簡介 二.Hadoop架設環境 三.Hadoop架設過程(1)-基礎設定 四.Hadoop架設過程(2)-進階設定 五.Hadoop架設過程(3)-大量架設 六.啟動Hadoop系統 * 一.Hadoop簡介 Hadoop是Apache軟體基金會所研發的開放源碼平行運算編程工具和分散式檔案系統，與MapReduce和Google檔案系統的概念類似。 Hadoop包含兩大部分1.HDFS(Hadoop Distributed File System)2.MapReduce。 1.HDFS:分散式檔案系統。 2.MapReduce分散式資料處理模式及執行環境。 * 二.Hadoop架設環境 * 必要軟體 1.Linux Ubuntu 10.04(四台電腦環境) 2.Hadoop-0.20.2.tar.gz 3.Java jdk-6u29-linux-i586.bin IP設定 四台電腦都必須設定一組對外IP，然後對內架設一個區域網路(LAN)，00~103。 三.架設過程(1)-基礎設定 * 1.安裝Linux Ubuntu 10.04 2.安裝其它必要軟體 2-1:$sudo apt-get install sun-java6-jdk 2-2:$sudo apt-get install sun-java6-plugin 2-3:$sudo apt-get install ssh 2-4:$sudo apt-get install openssh-server 2-5:$sudo apt-get install rsync 2-6:$sudo apt-get install vim 三.架設過程(1)-基礎設定 * 3.編輯主機設定檔 3-1:$sudo vim /etc/hosts 3-2: localhost 00 hdp0 01 hdp1 02 hdp2 03 hdp3 三.架設過程(1)-基礎設定 * 4.四台機器要互相ping的到 5.建立SSH安全免密碼登入 5-1:$ssh-keygen -t rsa -P 5-2:$cd /home/hadoop/.ssh 5-3:$cat id_rsa.pub ~/.ssh/authorized_keys 5-4:$ssh hdp0(如果可以不用輸入密碼及代表成功) 5-5:$exit P.S以上第(1)部分只需針對第一台電腦執行即可。 四.架設過程(2)-進階設定 * 6.從hdp0複製金鑰給其他電腦(hdp0) 6-1:$scp ~/.ssh/authorized_keys hdp1:~/.ssh/authorized_keys 6-2:$scp ~/.ssh/authorized_keys hdp2:~/.ssh/authorized_keys 6-3:$scp ~/.ssh/authorized_keys hdp3:~/.ssh/authorized_keys 四.架設過程(2)-進階設定 * 測試: 6-4:$ssh hdp1(免密碼登入) 6-5:$ssh hdp2(免密碼登入) 6-6:$ssh hdp3(免密碼登入) 如果能夠從第一台電腦使用ssh指令登入其他電腦即代表成功。 四.架設過程(2)-進階設定 * 7.安裝Hadoop(hadoop-0.20.2.tar.gz) 7-1:去.tw//hadoop/common/hadoop-0.20.2/下載Hadoop 7-2:$cp /home/hadoop/download/hadoop-0.20.2.tar.gz /home/hadoop(複製) 7-3:$tar zxvf hadoop-0.20.2.tar.gz(解壓縮) 四.架設過程(2)-進階設定 * 8.雲端系統設定 8-1:$cd ~/hadoop-0.20.2/conf 8-2:$vim masters 8-3:hdp0 8-4:$vim slaves(編輯此文件為下面格式) 8-5:hdp0 hdp1 hdp2 hdp3 四.架設過程(2)-進階設定 * 9.安裝java jdk到/home/hadoop下 9-1:/technetwork/java/javase/downloads/j