通過Ambari快速搭建大數據平台


 

目錄

HDP部署安裝手冊... I

1、環境配置... 3

1.1、關閉防火牆服務(所有節點)... 3

1.2、配置SSH免密碼登錄... 3

1.3、搭建本地http服務(主節點)... 4

1.4、配置hosts域名映射(所有節點)... 5

1.5、配置本地yum源倉庫(所有節點)... 5

2、HDP部署安裝... 7

2.1、安裝JDK(所有節點)... 7

2.2、安裝ambari-agent(所有節點)... 7

2.3、安裝ambari-server(主節點)... 7

2.4、使用ambari部署HDP. 8

3、安裝完成... 14

 

 

1、環境配置

1.1、關閉防火牆服務(所有節點)

l   ip6tables

l   iptables

l   查看當前防火牆狀態:  service iptables status

開啟:service iptables start

關閉:service iptables stop

service --status-all

1.2、配置SSH免密碼登錄

在三個節點(此次為49、50、51)的ambari-server節點配置SSH免密碼登錄,可以不需要互通,但ambari-server節點(此次為49節點)必須能免密碼登錄其他節點主機。

.配置ssh無密碼訪問

1.master運行

  ssh-keygen -t rsa,一路回車,這里會生成秘鑰對

  cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

2.slave運行(兩個子節點)

  chmod 700 –R ~/.ssh

3.master上運行

  scp ~/.ssh/authorized_keys  root@172.19.189.50:~/.ssh/authorized_keys

  scp ~/.ssh/authorized_keys  root@172.19.189.51:~/.ssh/authorized_keys

4.測試:ssh 172.19.189.50 不用輸入密碼則成功

PS:很多人按照教程照做會失敗,總結一下主要以下兩個原因:

1) 缺少了第2步,導致master沒有權限寫slave的.ssh目錄

2) 集群中所有機器必須使用相同的用戶名(此處為root)

1.3、搭建本地http服務(主節點)

     一開始各節點目錄/var/www/html/下文件如圖1-3所示

       

圖1-3

選擇任意一台節點主機(此處為49),將HDP安裝包和系統源復制到/var/www/html/目錄下(local_dvd為系統源),復制過去后目錄如圖1-4所示(HDP安裝包和系統源是從別的已經安裝好的節點上取過來的):

 

圖1-4

     啟動HTTPD服務(service httpd start),在瀏覽器輸入IP訪問該站點,頁面正常顯示目錄文件則說明搭建成功,如圖1-5所示:

 

圖1-5

1.4、配置hosts域名映射(所有節點)

編輯 /etc/hosts 文件,增加IP地址的域名映射並分發到各個節點。如圖1-6,第1、2行不變,如第3、4、5、6行一樣,一個IP地址對應多個域名,空格區分,其中public-repo-1.hortonworks.com 域名映射的IP地址就是上一步中搭建的HTTPD服務所在的節點IP地址,該域名用於HDP的安裝下載地址。保存之后,可以嘗試用ping命令檢查映射是否指向到了正確的節點IP地址。

1.5、配置本地yum源倉庫(所有節點)

yum源倉庫的配置存在 /etc/yum.repos.d/ 目錄,yum會讀取所有以repo結尾的源倉庫信息來下載安裝程序。這里我們需要將后面使用到的HDP程序的源倉庫、Linux的源倉庫添加進來。

ambari.repo, HDP.repo, HDP-UTILS.repo 三個文件分別存在HDP的三個程序包里,復制出來即可!

hdp.repo  /var/www/html/HDP/centos6/2.x/GA/2.2.0.0/

ambari.repo  /var/www/html/ambari/centos6/1.x/updates/1.7.0/

HDP-UTILS.repo /var/www/html/HDP-UTILS-1.1.0.20/repos/centos6/

  1. 復制過來后,需要注意文件內的鏈接地址可能需要本機的實際情況修改一下

一開始hdp-util.repo文件內容如圖1-10下:

 

但鏈接並不能訪問到,此時執行加后面2、3操作,會報錯,如圖1-11所示,提示hdp-util中路徑有問題:

 

修改后的hdp-util.repo文件內容如圖1-12下:

 

也可以把172.19.189.49改為public-repo-1.hortonworks.com(即為在1.4中所配置的映射),如圖1-13所示:

 

其他的兩個文件也需根據實際情況進行修改。

  1. 增加之后,分別分發到其他節點,並在各個節點執行 yum clean all, yum clean packages 兩個命令來清理yum的緩存;
  2. 執行yum search ambari-agent 命令來檢查yum源倉庫是否配置正確;

 

2、HDP部署安裝

2.1、安裝JDK(所有節點)

安裝的路徑統一為 /usr/java下,需要增加default軟鏈接指向JDK目錄

 

2.2、安裝ambari-agent(所有節點)

yum install ambari-agent

2.3、安裝ambari-server(主節點)

yum install ambari-server

按提示回車或輸入yes即可,默認情況下會安裝pgsql數據庫,用戶名和密碼都是ambari。

執行service --status-all,會提示:

Ambari-server status

Ambari Server not running. Stale PID File at: /var/run/ambari-server/ambari-server.pid

需進行設置,執行ambari-server setup,進行相關設置,選擇java時選擇之前配置的路徑(選3,手動配置路徑),數據庫選擇1(即默認的,也可不選直接回車),如圖1-14所示:

 

啟動server和agent服務:service ambari-server start   service ambari-agent start(三個節點)

2.4、使用ambari部署HDP

登錄ambari,默認admin,admin

 

給集群取個名字

 

 

選擇HDP版本,根據實際情況選擇。

 

 

在目標主機里,輸入需要安裝的節點域名,並且輸入免密碼登錄的密鑰,其中SSH Private Key可以從主節點(49)上復制id_rsa文件中的內容也可以從主節點上下載到本地。

 

 

Ambari會主動檢查節點的狀態,如果出現錯誤,可以根據日志排查問題

根據實際情況選擇需要安裝的服務。安裝時會顯示需要配置的節點參數,都不需要改動,直接默認安裝。

 

以下均是根據自己需要進行選擇

 

3、安裝完成

安裝完成后,再次登錄ambari控制台檢查服務。

 

默認用戶名和密碼均為:admin

4、錯誤

出現下面錯誤的原因是openssl問題

 

5、卸載

刪除HDP(可能執行后並沒有刪除干凈,關注一下最后一步):

python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users

刪除ambari:

yum remove ambari-server(主節點)

yum remove ambari-agent(所有節點)

刪除數據:(所有節點)

rm -rf /storage/disk1/*

rm -rf /storage/disk2/*

rm -rf /storage/disk3/*

rm -rf /storage/disk4/*

rm -rf /usr/hdp

rm -rf /tmp/*

rm -rf /usr/lib/ambari-server

rm -rf /etc/ambari-agent

rm -rf /etc/ambari-server

rm -rf /var/log/ambari-server

rm -rf /var/lib/ambari-server

rm -rf /usr/lib/ambari-agent

rm -rf /var/log/ambari-agent

rm -rf /var/lib/ambari-agent

刪除數據庫信息(主節點):

rm -rf /var/lib/pgsql/data

刪除ssh遠程時的配置文件(可選):

rm -rf /root/.ssh/known_hosts

rm -rf /root/.ssh/authorized_keys

清理緩存:(所有節點)

yum clean all

yum clean packages

重啟:(所以節點)

Reboot

 

在卸載完后重新安裝時,到下面這一步時,注意點擊一下” Click here to see the warnings.”:

 

 

 

此處可以在各個 節點上再執行一下

python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM