HDP2.4安裝(五)：集群及組件安裝

    HDP(Hortonworks Data Platform)是hortworks推出的100%開源的hadoop發行版本,以YARN 作為其架構中心，包含pig、hive、phoniex、hbase、storm、spark等大量組件，在最新的2.4版本，監控UI實現與grafana集成,包含組件版本對應圖如下：（圖片來自hortonwork官網）

安裝過程：

• 集群規划
• 環境准備
• 軟件包下載：  （HDP2.4的安裝包過大，推薦離線安裝）
• 
• HDP安裝部署

集群規划：

•  192.168.2.89   hdp1     (ambari)
•  192.168.2.2     hdp2     (worknode1)
•  192.168.2.99   hdp3     (worknode2)
•  192.168.2.21   hdp4     (masterNode)
•  192.168.2.169 R          (secondary master、zookeeper)

環境准備：

• 所有節點操作系統安裝完成后，hdp1用來部署本地安裝下載源，要求所有節點均能通過ssh無密訪問
• 在hdp1機器上，執行命令：vim /etc/hosts   配置文件內容如下圖. （要求所有節點機器的hosts文件內容均是如此）
• 
• hdp1.命令： cd  ~/.ssh    (切換目錄）
• hdp1.命令：ssh-copy-id hdp1   (配置hdp1能無密訪問所有節點）
• hdp1.命令：ssh-copy-id hdp2
• hdp1.命令：ssh-copy-id hdp3
• hdp1.命令：ssh-copy-id hdp4
• hdp1.命令：ssh-copy-id R
• 注意：其它節點的機器如上配置，必須保證能無密訪問hdp1
• 將hdp安裝包上傳至hdp1服務器，並切換至該目錄（如：/usr/zhu)
• 命令： tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz   （安裝包文件解壓）
• 命令： tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
• 將解壓后的生成的 HDP 和 HDP-UTILS-1.1.0.20 目錄copy 到 /var/www/html 目錄下
• 手工創建名為 hdp.rpo 的文件，內容如下 （http://192.168.2.89為安裝ambari的機器IP）

  [HDP-2.4.2.0]
  name=HDPVersion-HDP-2.4.2.0
  baseurl=http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0
  gpgcheck=1
  gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
  enabled=1
  priority=1

• 注意：baseurl 的地址必須與物理的文件能對應起來（即：http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0能正確訪問）
• 同樣方式，手工創建名為 hdp-util.repo 的文件，內容如下：

  [HDP-UTILS-1.1.0.20]
  name=HDPUtilsVersion-HDP-UTILS-1.1.0.20
  baseurl=http://192.168.2.89/HDP-UTILS-1.1.0.20/repos/centos7
  gpgcheck=1
  gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
  enabled=1
  priority=1

• 將 hdp.rpo 和 hdp-util.repo 文件上傳至 /etc/yum.repos.d 目錄，如下圖：
• 
• 將上傳至 hdp1 服務器上的 rpo 文件分發至集群內其它機器節點的相同目錄，命令如下：
• hdp1命令： cd /etc/yum.repos.d
• hdp1命令： scp hdp.repo hdp-util.repo hdp2:/etc/yum.repos.d  （將文件copy至hdp2)
• hdp1命令： scp hdp.repo hdp-util.repo hdp3:/etc/yum.repos.d 
• hdp1命令： scp hdp.repo hdp-util.repo hdp4:/etc/yum.repos.d 
• hdp1命令： scp hdp.repo hdp-util.repo R:/etc/yum.repos.d 

HDP安裝：

• 在任意機器瀏覽器上打開ambari web 界面 （http://192.168.2.89:8080   user:admin  psd:admin)
• 在主頁面 ”Create a Cluster“ 版板，選擇 ”Launch Install Wizard“，如圖：
• 
• 按向導輸入集群名
• 選擇hdp2.4, 我們采用離線安裝，在高級選項中將 redhat7 以外的其它選項全部去掉，同時配置本地源地址（對應repo文件中baseUrl地址），如下：
• 
• 將ambari主機上生成的私鑰文件下載到本地 （使用 sz 命令或 winSCP 工具 ）
• 在下一步中輸入主機列表（hdp要求帶FQDN的機器名，可不用理會），輸入機器列表，導入私鑰，如下圖
• 
• 選擇"Register and Confirm", 忽略彈出的警告提示，繼續如下圖：
• 
• 選擇 "Next",  進入需要安裝的服務選擇模板（我主要是為了建HBase集群）,選擇的服務如下：
• 
• 選擇 ”Next“， 進行服務與主機分配，如下圖：
• 
• "Next" -> 進入 Slaves and client 分配，如下圖：
• 
• ”Next" -> 進入 Customize Services 定義，給 hive metastore 分配數據庫,輸入數據庫名、用戶和密碼(bigdata)
• 
• 點擊 " Test Connection", 肯定是連不上的，手工創建數據庫和用戶

---

• 執行：create database hive;    （創建hive數據庫）
• 執行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (創建hive用戶)
• 執行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';
• 執行：FLUSH PRIVILEGES;  （刷新權限）
• 執行：quit;

---

• 命令：service mysql restart;
• 驗證：mysql -u hive -p     (成功登陸則OK）

---

• 點擊 " Test Connection", 如上圖則OK
• ambari 監控UI 工具 admin 賦 密碼（bigdata),如圖：
• 
• "Next", 在服務安裝清單界面，確認無誤后，選擇 ”Deploy"
• 等待系統安裝，安裝結束后如圖：
• 
• 出現如下界面，則表示安裝ok
•