Ambari安裝之部署3個節點的HA分布式集群

 

 

 

 前期博客

Ambari安裝之部署單節點集群

 

 

 　　其實，按照這個步驟是一樣的。只是按照好3個節點后，再做下HA即可。

 

 

部署3個節點的HA分布式集群

（1）添加機器

和添加服務的操作類似，如下圖

之后的添加ambari03、ambari04操作就和部署ambari02類似，可以參照前面的步驟。這里不多贅述。

Ambari安裝之部署單節點集群

 

 

 

 

-----BEGIN RSA PRIVATE KEY-----
MIIEogIBAAKCAQEAvLAEPDRhnQUq4+6IRYTF6YKmMfvfGKKbkgEX5RrZ89BQbiOm jqWrcb8yAi6zFY/uHCM6cBG/BzdmHPlTYZwAmt8qI4hs/5NvkjLUmlwFe2+fYofZ 6kRfuJh4eEyysiLhZBEkgb4UYtDQgvB12eFBgieHSkl2+nUVorgvbnIbcqoAz/fN 4d9iU5oa5pShjQkAL1NKUmLZAh1PcFSq1OGGGEtsWFp7ggt8ufahejyZeqstbWl0 vAxohuvYdW5YjIHJhLP7ld7arsv9f40RMNEdPuWOTWegM6p94oFRAIln9Wtcc271 jQoF3xjhqUpV17PU3ErZ6+wsVukZ3iMtP/PqPQIBIwKCAQB2moZRuoZ/9J6d5mRI 9F8lEEs1XH2adNbQzXy75P4G9/gKt1LAEF0i7TVgdSAcLpWrSVfurBGsw7yHPaIg GOpv+f066An/u8J5J0POvX/J7mQvThPyVt0U8h/Wlpw1dQKz7YSpUug+HNrV9jtz Ap40jeACzxeWHbXT/r66c5w5cRciB4eFQ14xO3FZyfCcD5AjAWYNyze7mI5i8396 VscwVCd2qUsMQnjR6RXQd/vK3KJ62S0rxKQ0UC5+H5OxVny9m9q+8Qy53iEMtX/n GzDph2OGTGHBrR/+kOjdwx9kXy5FknL5Q1EITeERI0NcFmwN1UlEyaAGkDNf88ye hzjDAoGBAO7yyfNTcQpy0ZdAhVDWDb+ohKt83ucrkiW87dXHPPo/QEJOZCl2SsVt bB4p4gEUcpxy5rgkgB0JAuvnAv4JZ49I+NOASOnVpuhty0qGzRmvk1soGQn6TyfK HwybRLXTHUiQfx0UQFTrbNdpubx0CKT0fBKBBviejyfSOE59pM//AoGBAMonCpo6 a+TvjNr0TgwbyzhPHdmRBnZDXkctQIo/YE704l+eoywbKGty9MlWJ1lGZTFlnZej Xxe2Uhb0UGPo+VyCccBxc4slz1TaoQbRnpLV+s7+Mik/atG9kwB41Bd2/HjRWFAa x1LyGN5ee2hocD4u5C/x0vrzulp+5wH0poXDAoGBAIG2/+p9wQWsC2C8oCSRdS2H XfaxgFGbT1ZQnl4bs2NG6F6CU6F6uuA0Fh8AyyUoW3mANBrR/GeIjI6wmzly0dFw wZdi5cDEcIzN42L4uHuodJCSHDid0zLbb/DmkwOefZxrsrgDreT01K9z6Hw+/WDc fd4oyUUi3/+sojk85HDpAoGBALjTPOTHsxp0ngoD75YKyG3/MTvyTw0KZNNckseK Zq6WwFdsd+3Pr+015x56p6IUecbDTkF/bOJ6zrXmr+ZRWQQfffHG0AoxMpa5QsRn 4XBOnCr3CUpInC16IABueMT/Erea1GZ+4h/zSe/hWuMdqHNeEnT6Wn8KuQJII6oE QHpLAoGAYNNuiUgLrqRq8Klb4Fj0pbwWzrvNkON+j01mIEzPeNNto01GbLXKQwhe mbWMSnLHarmFWJ7Yamagzx1I/ifRjUUFLchcxLH0VDv0e1ZYaD1FV2IQNJNS4gWE m8Xbq7v4bjOmZvAfVoorH+gnvh0SMNTyFGq+rSB9wCsII3nLGPo= -----END RSA PRIVATE KEY-----

 

 

 

 

 

 

 

 

 

 

 

 

 

（2）添加服務

添加ambari03、ambari04的服務的操作和前面的ambari02類似，具體可以參照前面的步驟。這里不多贅述。

Ambari安裝之部署單節點集群

 

 

 

 

　　當然，我下面這里就是，ambigdata1、ambigdata2、ambigdata3和ambigdata4，組成的4節點的HA大數據集群。

　　我這里，就吧所有的服務都加進去。

 

 

 

 

 

 

 

 

 

 

（3）配置HA

　選擇，HDFS   ->  services  ->    service actions    ->  enable namenode HA

 　　     YARN  ->   services  ->    service actions    ->enable resourcemanager HA

  以后再貼圖。

接下來按照命令提示一步一步操作即可

 

　　這里，大家，如何控制下呢？

 

 

 

 

 

 

 

 

　　比如，這里，我參考這篇博客

完全分布式Hadoop集群的安裝搭建和配置（4節點）

　　在這里，為了今年實驗室環境所需。所以，將計算節點動態設置為4。來迎合論文里的4、3、2和1節點，對比加速比。

 

 

 

 

 

　　則最后得到，是如下

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　然后，下面就是，等同於apache版本的hive安裝的配置文件hive-site.xml

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　然后呢，相信大部分博友，跟我一樣，在這里，對下面三個現在，都不知道怎么設置。沒關系，大家，可以先跳過。

 

 

 

 

 

 

 

 

 

 

 

 

 

　　以后，再回來設置即可。這個不難。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

保證所有服務都正常啟動之后，下面我們就可以上傳文件到HDFS，並運行Mapreduce了

 

 

 

 

 

 

　　那就改成mysql數據庫來吧

 

 

 

 

 

 

 　　這里啊，我查了下資料

數據庫要求

          Hive/HCatalog、Oozie和Ambari都需要一個內部數據庫。

          Hive/HCatalog：默認使用Ambari自帶的Mysql5.x。也可以自己配置Oracle 11g r2。

          Oozie：默認使用Ambari自帶的Derby。也可以自己配置Mysql5.x和Oracle 11g r2。

          Ambari：默認使用Ambari自帶的PostgreSQL8.x，也可以使用Oracle 11g r2.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　然后

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

http://192.168.86.21:8080/#installer/step8

 

 

 

 　　比如這不，有個什么Hcat client安裝失敗。多刷新，反復這里就是。（因為是網速原因）

 

 　　最后，一定會成功，全部安裝完全的！

 

 

 

 

 

 

 

 

 

 

　　如下是我開啟全部服務的過程：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　

 對於這樣的日志報錯
一般是怎么看的，請問 

 jdbc驅動沒有。傳個上去 

 

 

 

 

 

 

 

 

 

 

 手動安裝apahce版本的oozie和cdh的oozie，我會下面的這篇博客就是已經解決了

Oozie安裝時放置Mysql驅動包的總結（網上最全）

 

 

現在，這里是ambari里安裝oozie，一直不知道怎么放mysql-con**驅動jar包，

 以后你有時間解決下！！！

 

 

 　　其實，很簡單

[root@ambigdata1 ~]# yum install mysql-connector-java
Is this ok [y/N]: y

　　即可

 

 

　　心得：一般在公司里，是，開啟了服務，就不需再關閉。

　　　　   只有自己的電腦，比如搭建了4個虛擬機這樣的來，關閉再開啟。

　　　　   好啦，寫這篇博客是為了幫助入門的博友們，同時，也是，為了最近要在自己實驗室，搭建真實物理機器的多節點大數據集群!

　　

 

 

 

 

 

 

 

 

（4）運行MapReduce程序

1）上傳文件到HDFS

執行命令：cd /usr/hdp/current/hadoop-client/bin這個目錄下創建vi wc.txt這個文件,然后輸入相應的內容

執行命令：sudo -u hdfs hadoop fs -put wc.txt /hdpCluster

 

文件上傳成功之后就可以執行命令運行mapreduce程序了，運行如下命令

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapeduce-examples-2.7.1.2.4.0-169.jar   wordcount   /hdpCluster/wc.txt   /output

 

 

可能會報權限的問題，那么我們只需要修改一下對應的權限即可，例如使用下面的方法。

sudo  -u  hdfs  hadoop fs -ls /

sudo -u  hdfs  hadoop  fs  -chown -R  hadoop:hadoop   /

sudo  -u  hdfs  hadoop  fs  -ls  /

 

 

Mapreduce執行成功之后通過如下命令查看程序運行結果

sudo  -u  hdfs  hadoop  fs -cat  /output/part*

那么到此為止我們的ambari安裝部署HA分布式集群就給大家演示完畢了!