如果是全新安裝集群的話,可以參考《Ubuntu 16.04上搭建CDH5.16.1集群》
下面是集群新增節點步驟:
1.已經存在一個集群,有兩個節點
192.168.100.19 hadoop-master
192.168.100.20 hadoop-slave1
新增節點ip為192.168.100.21
2.新增節點所有的操作都在root下進行,所以首先需要設置ssh可以使用root登錄(如果已經是root登錄則跳過)
①設置root的登錄密碼
sudo passwd root
②切換到root用戶
sudo su root
③設置登錄賬戶可以使用root
vi /etc/ssh/sshd_config
#PermitRootLogin prohibit-password #屏蔽這一行
PermitRootLogin yes #增加這一行
④更新軟件列表並檢查是否聯網狀態
apt-get update
3.新增節點關閉防火牆
ufw disable
4.設置新增節點hostname和hosts
①設置hostname:
vi /etc/hostname
設置為hadoop-slave2
②修改hosts
vi /etc/hosts
127.0.0.1 localhost
#127.0.1.1 test1 #屏蔽這一行
#新增下面三行
192.168.100.19 hadoop-master
192.168.100.20 hadoop-slave1
192.168.100.21 hadoop-slave2
③使用ping命令,查看以上設置是否正確
ping hadoop-master
ping hadoop-slave1
ping hadoop-slave2
④重啟后用root登錄
5.讓三台服務器之間互相可以使用root無需輸入密碼進行ssh登錄。
①新增節點生成公鑰(不要設置密碼)
ssh-keygen -t rsa
截圖如下:
②將本機的公鑰復制到另外兩台服務器上。(過程需要輸入目標服務器的root登錄密碼)
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-master #在新增節點上執行
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave1 #在新增節點上執行
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop-slave2 #在master和slave1上執行
③測試是否成功
ssh hadoop-master #無密碼遠程登錄hadoop-master,使用exit退出
ssh hadoop-slave1 #無密碼遠程登錄hadoop-slave1,使用exit退出
ssh hadoop-slave2 #無密碼遠程登錄hadoop-slave2,使用exit退出
④如果出現下面的報錯
ssh:connect to host hadoop-slave1 port 22: Connection refused
ssh: connect to host hadoop-slave1 port 22: Connection timed out
檢查root的密碼是否正確,可以使用ssh localhost檢查一下是否可以登錄到本機,如果不行則證明root密碼有問題,轉到上面第2個步驟重新設置root密碼。
檢查/etc/hosts文件中ip和hostname是否正確
檢查防火牆是否關閉
6.安裝JAVA運行環境
①正常顯示版本號則跳過下面步驟
java -version
②如果顯示如下,則表示還沒有安裝JAVA
③具體JDK的安裝可以參考
7.安裝JAVA的MySQL軟件包
apt-get install libmysql-java
8.新增節點中下載CDH相關文件(由於版本的更新,版本號會不斷遞增),並進行設置
①在瀏覽器中輸入 http://archive.cloudera.com/cm5/cm/5/ 查看到ubuntu對應最新版本
②在瀏覽器中輸入 http://archive.cloudera.com/cdh5/parcels/latest 查看到ubuntu對應最新版本
③將上面的四個文件都下載下來
wget -c http://archive.cloudera.com/cm5/cm/5/cloudera-manager-xenial-cm5.16.1_amd64.tar.gz
wget -c http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha1
wget -c http://archive.cloudera.com/cdh5/parcels/latest/manifest.json
④將CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha1文件重命名為CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha
mv CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha
⑤在/opt中建立對應的文件夾結構(cm-5.16.1為當前版本號)
| --/opt
|--/cloudera
|--/parcels
|--/parcel-repo
|--/cm-5.16.1
cd /opt
mkdir cm-5.16.1
mkdir cloudera
cd cloudera
mkdir parcels
mkdir parcel-repo
⑥將CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel、CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha和manifest.json三個文件拷貝到/opt/cloudera/parcel-repo中
cp CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo
⑦解壓cloudera-manager-xenial-cm5.16.1_amd64.tar.gz到/opt中
tar -zxf cloudera-manager-xenial-cm5.16.1_amd64.tar.gz -C /opt
⑧修改配置文件
vi /opt/cm-5.16.1/etc/cloudera-scm-agent/config.ini
# Hostname of the CM server.
server_host=hadoop-master #修改為主機名
9.新增用戶
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
10.安裝python
apt-get install python2.7
11.設置vm.swappiness=10
vi /etc/sysctl.conf
vm.swappiness=10 #在文件最后增加一行
cat /proc/sys/vm/swappiness #查看當前值,設置后需要重啟才生效
12.安裝必要的庫
apt-cache search libmysql apt-get install libmysql++-dev apt-get install python-libxslt1
13.java環境快捷方式
mkdir /usr/java
ln -s /usr/local/java /usr/java/default
14.reboot重啟
15.啟動進程(報錯信息的處理可查看:《Ubuntu 16.04上搭建CDH5.16.1集群》)
cd /opt/cm-5.16.1/etc/init.d
./cloudera-scm-server start
./cloudera-scm-agent start
16.耐心稍等一會,進入master的頁面http://192.168.100.19:7180/cmf/login進行登錄
17.找到所有主機列表(如果沒看到新的節點,要么是等的時間不夠久,要么是上面的步驟出錯了)(可以看到192.168.100.21下的Roles為空)
18.點擊Add New Host to Cluster,出現向導
19.這里顯示還沒有加入到集群的新節點
20.耐心等待安裝
21.返回安裝信息
22.這里可以為新增節點角色,這里我們不設置,在后面再新增DataNode的角色
23.完成Finished
24.下面步驟為將新增節點加入到DataNode角色中。
25.點擊進入HDFS的DataNode中
26.點擊Add Role Instances
27.在所有主機上使用DataNode角色
28.全部步驟完成。
以上。