1、分布式環境搭建
采用4台安裝Linux環境的機器來構建一個小規模的分布式集群。
圖1 集群的架構
其中有一台機器是Master節點,即名稱節點,另外三台是Slaver節點,即數據節點。這四台機器彼此間通過路由器相連,從而實驗相互通信以及數據傳輸。它們都可以通過路由器訪問Internet,實驗網頁文檔的采集。
2、集群機器詳細信息
2.1 Master服務器
名稱 |
詳細信息 |
機器名稱 |
Master.Hadoop |
機器IP地址 |
192.168.1.2 |
最高用戶名稱(Name) |
root |
最用用戶密碼(PWD) |
hadoop(全小寫) |
一般用戶名稱(Name) |
hadoop(全小寫) |
一般用戶密碼(PWD) |
hadoop(全小寫) |
2.2 Slave1服務器
名稱 |
詳細信息 |
機器名稱 |
Slave1.Hadoop |
機器IP地址 |
192.168.1.3 |
最高用戶名稱(Name) |
root |
最用用戶密碼(PWD) |
hadoop(全小寫) |
一般用戶名稱(Name) |
hadoop(全小寫) |
一般用戶密碼(PWD) |
hadoop(全小寫) |
2.3 Slave2服務器
名稱 |
詳細信息 |
機器名稱 |
Slave2.Hadoop |
機器IP地址 |
192.168.1.4 |
最高用戶名稱(Name) |
root |
最用用戶密碼(PWD) |
hadoop(全小寫) |
一般用戶名稱(Name) |
hadoop(全小寫) |
一般用戶密碼(PWD) |
hadoop(全小寫) |
2.4 Slave3服務器
名稱 |
詳細信息 |
機器名稱 |
Slave3.Hadoop |
機器IP地址 |
192.168.1.5 |
最高用戶名稱(Name) |
root |
最用用戶密碼(PWD) |
hadoop(全小寫) |
一般用戶名稱(Name) |
hadoop(全小寫) |
一般用戶密碼(PWD) |
hadoop(全小寫) |
備注:
添加新用戶命令:useradd;修改新用戶密碼:passwd 用戶名
退出當前用戶:exit; 登錄root用戶:su –
3、集群機器實際布局
下面是幾張Hadoop集群實際機器的部署情況,可以從圖中看到那時的我們怎么實際配置Hadoop集群的。
3.1 Hadoop工作集群
該Hadoop集群機器是學習和研究之用,上面運行着已經搭建好的的Hadoop平台以及運行着一些實際程序。
圖3.1-1 Hadoop工作集群部署圖(1)
圖3.1-2 Hadoop工作集群部署圖(2)
上面從兩個角度來分別觀察Hadoop集群部署,作為Hadoop集群的Master節點,用的是機器較為不錯的新Dell,而三台Slave機器則是實驗室淘汰的舊Lenovo,用一個小路由器他們組成了一個局域網。
圖3.1-3 路由器特寫
3.2 Hadoop實驗集群
為了方便新成員練習Hadoop技術,又防止在實際Hadoop集群上破壞已運行的程序,故另外弄了兩台舊Lenovo電腦組成:一個"主——TMaster";一個"輔——TSlave"。
圖3.2-1 Hadoop實驗集群部署
上面就是實驗室Hadoop集群的樣子,雖然很簡陋,但足夠學習用了。
文章下載地址:http://files.cnblogs.com/xia520pi/HadoopCluster_Vol.2.rar