目錄
HDP部署安裝手冊... I
1、環境配置... 3
1.1、關閉防火牆服務(所有節點)... 3
1.2、配置SSH免密碼登錄... 3
1.3、搭建本地http服務(主節點)... 4
1.4、配置hosts域名映射(所有節點)... 5
1.5、配置本地yum源倉庫(所有節點)... 5
2、HDP部署安裝... 7
2.1、安裝JDK(所有節點)... 7
2.2、安裝ambari-agent(所有節點)... 7
2.3、安裝ambari-server(主節點)... 7
2.4、使用ambari部署HDP. 8
3、安裝完成... 14
1、環境配置
1.1、關閉防火牆服務(所有節點)
l ip6tables
l iptables
l 查看當前防火牆狀態: service iptables status
開啟:service iptables start
關閉:service iptables stop
service --status-all
1.2、配置SSH免密碼登錄
在三個節點(此次為49、50、51)的ambari-server節點配置SSH免密碼登錄,可以不需要互通,但ambari-server節點(此次為49節點)必須能免密碼登錄其他節點主機。
.配置ssh無密碼訪問
1.master運行
ssh-keygen -t rsa,一路回車,這里會生成秘鑰對
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
2.slave運行(兩個子節點)
chmod 700 –R ~/.ssh
3.master上運行
scp ~/.ssh/authorized_keys root@172.19.189.50:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@172.19.189.51:~/.ssh/authorized_keys
4.測試:ssh 172.19.189.50 不用輸入密碼則成功
PS:很多人按照教程照做會失敗,總結一下主要以下兩個原因:
1) 缺少了第2步,導致master沒有權限寫slave的.ssh目錄
2) 集群中所有機器必須使用相同的用戶名(此處為root)
1.3、搭建本地http服務(主節點)
一開始各節點目錄/var/www/html/下文件如圖1-3所示
圖1-3
選擇任意一台節點主機(此處為49),將HDP安裝包和系統源復制到/var/www/html/目錄下(local_dvd為系統源),復制過去后目錄如圖1-4所示(HDP安裝包和系統源是從別的已經安裝好的節點上取過來的):
圖1-4
啟動HTTPD服務(service httpd start),在瀏覽器輸入IP訪問該站點,頁面正常顯示目錄文件則說明搭建成功,如圖1-5所示:
圖1-5
1.4、配置hosts域名映射(所有節點)
編輯 /etc/hosts 文件,增加IP地址的域名映射並分發到各個節點。如圖1-6,第1、2行不變,如第3、4、5、6行一樣,一個IP地址對應多個域名,空格區分,其中public-repo-1.hortonworks.com 域名映射的IP地址就是上一步中搭建的HTTPD服務所在的節點IP地址,該域名用於HDP的安裝下載地址。保存之后,可以嘗試用ping命令檢查映射是否指向到了正確的節點IP地址。
1.5、配置本地yum源倉庫(所有節點)
yum源倉庫的配置存在 /etc/yum.repos.d/ 目錄,yum會讀取所有以repo結尾的源倉庫信息來下載安裝程序。這里我們需要將后面使用到的HDP程序的源倉庫、Linux的源倉庫添加進來。
ambari.repo, HDP.repo, HDP-UTILS.repo 三個文件分別存在HDP的三個程序包里,復制出來即可!
hdp.repo 在/var/www/html/HDP/centos6/2.x/GA/2.2.0.0/下
ambari.repo 在/var/www/html/ambari/centos6/1.x/updates/1.7.0/下
HDP-UTILS.repo 在/var/www/html/HDP-UTILS-1.1.0.20/repos/centos6/下
- 復制過來后,需要注意文件內的鏈接地址可能需要本機的實際情況修改一下
一開始hdp-util.repo文件內容如圖1-10下:
但鏈接並不能訪問到,此時執行加后面2、3操作,會報錯,如圖1-11所示,提示hdp-util中路徑有問題:
修改后的hdp-util.repo文件內容如圖1-12下:
也可以把172.19.189.49改為public-repo-1.hortonworks.com(即為在1.4中所配置的映射),如圖1-13所示:
其他的兩個文件也需根據實際情況進行修改。
- 增加之后,分別分發到其他節點,並在各個節點執行 yum clean all, yum clean packages 兩個命令來清理yum的緩存;
- 執行yum search ambari-agent 命令來檢查yum源倉庫是否配置正確;
2、HDP部署安裝
2.1、安裝JDK(所有節點)
安裝的路徑統一為 /usr/java下,需要增加default軟鏈接指向JDK目錄。
2.2、安裝ambari-agent(所有節點)
yum install ambari-agent
2.3、安裝ambari-server(主節點)
yum install ambari-server
按提示回車或輸入yes即可,默認情況下會安裝pgsql數據庫,用戶名和密碼都是ambari。
執行service --status-all,會提示:
Ambari-server status
Ambari Server not running. Stale PID File at: /var/run/ambari-server/ambari-server.pid
需進行設置,執行ambari-server setup,進行相關設置,選擇java時選擇之前配置的路徑(選3,手動配置路徑),數據庫選擇1(即默認的,也可不選直接回車),如圖1-14所示:
啟動server和agent服務:service ambari-server start service ambari-agent start(三個節點)
2.4、使用ambari部署HDP
登錄ambari,默認admin,admin
給集群取個名字
選擇HDP版本,根據實際情況選擇。
在目標主機里,輸入需要安裝的節點域名,並且輸入免密碼登錄的密鑰,其中SSH Private Key可以從主節點(49)上復制id_rsa文件中的內容也可以從主節點上下載到本地。
Ambari會主動檢查節點的狀態,如果出現錯誤,可以根據日志排查問題
根據實際情況選擇需要安裝的服務。安裝時會顯示需要配置的節點參數,都不需要改動,直接默認安裝。
以下均是根據自己需要進行選擇
3、安裝完成
安裝完成后,再次登錄ambari控制台檢查服務。
默認用戶名和密碼均為:admin
4、錯誤
出現下面錯誤的原因是openssl問題
5、卸載
刪除HDP(可能執行后並沒有刪除干凈,關注一下最后一步):
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users
刪除ambari:
yum remove ambari-server(主節點)
yum remove ambari-agent(所有節點)
刪除數據:(所有節點)
rm -rf /storage/disk1/*
rm -rf /storage/disk2/*
rm -rf /storage/disk3/*
rm -rf /storage/disk4/*
rm -rf /usr/hdp
rm -rf /tmp/*
rm -rf /usr/lib/ambari-server
rm -rf /etc/ambari-agent
rm -rf /etc/ambari-server
rm -rf /var/log/ambari-server
rm -rf /var/lib/ambari-server
rm -rf /usr/lib/ambari-agent
rm -rf /var/log/ambari-agent
rm -rf /var/lib/ambari-agent
刪除數據庫信息(主節點):
rm -rf /var/lib/pgsql/data
刪除ssh遠程時的配置文件(可選):
rm -rf /root/.ssh/known_hosts
rm -rf /root/.ssh/authorized_keys
清理緩存:(所有節點)
yum clean all
yum clean packages
重啟:(所以節點)
Reboot
在卸載完后重新安裝時,到下面這一步時,注意點擊一下” Click here to see the warnings.”:
此處可以在各個 節點上再執行一下
python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users