個人小站,正在持續整理中,歡迎訪問:http://shitouer.cn
小站博文地址：Hadoop 三台主機 集群搭建 詳解，歡迎原站訪問~
學習更多，請訪問系列文章：
3. Windows 下配置 Eclipse 連接 Hadoop 開發環境
部署環境：
OS：Redhat 5.5 Enterprise
JDK：jdk1.6.0_32
Hadoop：Hadoop-0.20.2
VMWare：7.0
節點安排及網絡拓撲：
節點類型 節點IP 節點hostname
master節點 192.168.40.5 master
slave節點 192.168.40.5 master(此時，master既是master節點，也是slave節點)
192.168.40.6 salve1
192.168.40.7 slave2
secondaryName節點192.168.40.5 master(此時，master既是master節點，也是slave節點，也是secondaryNameNode)
配置步驟：
一、網絡配置
首先關閉三台虛擬機的防火牆，步驟可參考：關閉防火牆
先用VMWare安裝三台虛擬機（可以先安裝一台，然后clone兩台），按照節點安排及網絡拓撲配置網絡，先配置master節點的網絡：
① 靜態網絡IP配置見VMware Redhat網絡配置，分別將三台虛擬機的IP進行設置
② 修改主機名：vi /etc/hosts(解析IP要用)，添加
192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2
③ 按照此過程及相同數據(除了IP地址不同)對三台虛擬機進行配置
二、 安裝jdk
Hadoop 是用java開發的，Hadoop的編譯及mapreduce的運行都需要使用JDK，所以JDK是必須安裝的
① 下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html
② 在用戶根目錄下，建立bin文件夾：mkdir ~/bin（也可放在其他處，個人習慣而已）
③ 改變執行權限：chmod u+x jdk-6u26-linux-i586.bin
④ 執行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路確定
⑤ 配置環境變量：vi ~/.bash_profile,添加：
export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin
⑥ 使profile文件生效：source ~/.bash_profile
⑦ 驗證是否配置成功：which java
[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可輸入java -version, java, javac進一步確定
⑧ 分別相同配置另外兩台主機
<JDK Installation End>
三、建立ssh互信
hadoop 需要通過ssh互信來啟動slave里表中各個主機的守護進程，所以SSH是必須安裝的（redhat 5.5 Enterprise 以默認安裝）。但是是否建立ssh互信（即無密碼登陸）並不是必須的，但是如果不配置，每次啟動hadoop，都需要輸入密碼以便登錄到每台機器的Datanode上，而一般的hadoop集群動輒數百或數千台機器，因此一般來說都會配置ssh互信。
① 生成密鑰並配置ssh無密碼登陸主機(在master主機)
ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
② 將authorized_keys文件拷貝到兩台slave主機
scp authorized_keys slave1:~/.ssh/
scp authorized_keys slave2:~/.ssh/
③ 檢查是否可以從master無密碼登陸slave機
ssh slave1(在master主機輸入) 登陸成功則配置成功，exit退出slave1返回master
四、配置Hadoop
① 下載：點擊到下載頁面，選擇hadoop-0.20.2.tar.gz
② 放到~/bin下解壓： tar -xzvf hadoop-0.20.2.tar.gz
③ 解壓后進入：~/bin/hadoop-0.20.2/conf/，修改配置文件：
修改hadoop-env.sh:
export JAVA_HOME=/root/bin/jdk1.6.0_32
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有這一行，默認是被注釋的，只需要把注釋去掉，並且把JAVA_HOME 改成你的java安裝目錄即可
修改core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>Hadoop.tmp.dir</name> <value>/tmp/hadoop-root</value> </property> </configuration>
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
注釋一：hadoop分布式文件系統文件存放位置都是基於hadoop.tmp.dir目錄的，namenode的名字空間存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode數據塊的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以設置好hadoop.tmp.dir目錄后，其他的重要目錄都是在這個目錄下面，這是一個根目錄。
注釋二：fs.default.name,設置namenode所在主機，端口號是9000
注釋三：core-site.xml 對應有一個core-default.xml, hdfs-site.xml對應有一個hdfs-default.xml,mapred-site.xml對應有一個mapred-default.xml。這三個defalult文件里面都有一些默認配置，現在我們修改這三個site文件，目的就覆蓋default里面的一些配置
修改hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
dfs.replication，設置數據塊的復制次數，默認是3，如果slave節點數少於3，則寫成相應的1或者2
修改mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>http://master:9001</value> </property> </configuration>
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
mapred.job.tracker，設置jobtracker所在機器，端口號9001
修改masters
master
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
雖然masters內寫的是master，但是個人感覺，這個並不是指定master節點，而是配置secondaryNameNode
修改slaves
配置了集群中所有slave節點
④ 添加hadoop環境變量，並 source ~/.bash_profile使之生效
export JAVA_HOME=/root/bin/jdk1.6.0_32 export HADOOP_HOME=/root/bin/hadoop-0.20.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
⑤ 將已經配置好的hadoop-0.20.2，分別拷貝到另外兩台主機，並做相同配置
⑥ 此時，hadoop的集群配置已經完成，輸入hadoop，則可看到hadoop相關的操作
[root@master ~]# hadoop Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility fs run a generic filesystem user client balancer run a cluster balancing utility jobtracker run the MapReduce job Tracker node pipes run a Pipes job tasktracker run a MapReduce task Tracker node job manipulate MapReduce jobs queue get information regarding JobQueues version print the version jar <jar> run a jar file distcp <srcurl> <desturl> copy file or directories recursively archive -archiveName NAME <src>* <dest> create a hadoop archive daemonlog get/set the log level for each daemon or CLASSNAME run the class named CLASSNAME Most commands print help when invoked w/o parameters.
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
⑦ 此時，首先格式化hadoop
在命令行里執行，hadoop namenode -format
⑧ 啟動hadoop
在命令行里執行，start-all.sh，或者執行start-dfs.sh,再執行start-mapred.sh
⑨ 輸入jps，查看啟動的服務進程
master節點：
[root@master ~]# jps 25429 SecondaryNameNode 25500 JobTracker 25201 NameNode 25328 DataNode 18474 Jps 25601 TaskTracker
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
slave節點：
[root@slave1 ~]# jps 4469 TaskTracker 4388 DataNode 29622 Jps
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
如上顯示，則說明相應的服務進程都啟動成功了。
圈10(額，像①一樣的圈出不來了(⊙o⊙)) 查看hdfs分布式文件系統的 文件目錄結構
hadoop fs -ls /
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
此時發現為空，因為確實什么也沒有，運行一下命令，則可創建一個文件夾：
hadoop fs -mkdir /newDir
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
再次執行hadoop fs -ls /，則會看到newDir文件夾，關於hadoop fs 命令，參見：HDFS 命令
圈11 運行hadoop 類似hello world的程序
本來，都是以word count來運行的，但是還得建文件夾之類的，有一個更簡單的，就是example中的計算π值的程序，我們來計算一下，進入hadoop目錄，運行如下：
[root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2 Number of Maps = 4 Samples per Map = 2 Wrote input for Map #0 Wrote input for Map #1 Wrote input for Map #2 Wrote input for Map #3 Starting Job 12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4 12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005 12/05/20 09:45:20 INFO mapred.JobClient: map 0% reduce 0% 12/05/20 09:45:30 INFO mapred.JobClient: map 50% reduce 0% 12/05/20 09:45:31 INFO mapred.JobClient: map 100% reduce 0% 12/05/20 09:45:45 INFO mapred.JobClient: map 100% reduce 100% 12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005 12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18 12/05/20 09:45:47 INFO mapred.JobClient: Job Counters 12/05/20 09:45:47 INFO mapred.JobClient: Launched reduce tasks=1 12/05/20 09:45:47 INFO mapred.JobClient: Launched map tasks=4 12/05/20 09:45:47 INFO mapred.JobClient: Data-local map tasks=4 12/05/20 09:45:47 INFO mapred.JobClient: FileSystemCounters 12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_READ=94 12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_READ=472 12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_WRITTEN=334 12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=215 12/05/20 09:45:47 INFO mapred.JobClient: Map-Reduce Framework 12/05/20 09:45:47 INFO mapred.JobClient: Reduce input groups=8 12/05/20 09:45:47 INFO mapred.JobClient: Combine output records=0 12/05/20 09:45:47 INFO mapred.JobClient: Map input records=4 12/05/20 09:45:47 INFO mapred.JobClient: Reduce shuffle bytes=112 12/05/20 09:45:47 INFO mapred.JobClient: Reduce output records=0 12/05/20 09:45:47 INFO mapred.JobClient: Spilled Records=16 12/05/20 09:45:47 INFO mapred.JobClient: Map output bytes=72 12/05/20 09:45:47 INFO mapred.JobClient: Map input bytes=96 12/05/20 09:45:47 INFO mapred.JobClient: Combine input records=0 12/05/20 09:45:47 INFO mapred.JobClient: Map output records=8 12/05/20 09:45:47 INFO mapred.JobClient: Reduce input records=8 Job Finished in 28.952 seconds Estimated value of Pi is 3.50000000000000000000
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
計算PI值為3.5，還算靠近，至於輸出log日志，就不介紹了，以后學的稍微深入，可多做了解。
Hadoop 三節點集群的配置就介紹到這里，接下來，會介紹一下如何在windows中遠程連接hadoop，並配置eclipse來進行MapReduce的開發和調試。
本文打算寫成一個系列，從集群搭建，到windows中遠程連接開發調試，再到源碼的閱讀和分析，立此存照，必須說到做到。
轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/