從零自學Hadoop(05):Ambari


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  這里我們選擇Ambari作為HDP的生產管理工具,如果我們一個個去配置HDP,很浪費時間,也很沒有效率,成功率。生產環境也得盡量的自動化,讓工具幫我們做大部分重復的工作,解放雙手,解放時間,解放效率。

  下面我們就Ambari的在線安裝展開敘述,如果大家對離線安裝感興趣,到時候再加篇幅進行敘述。

引入背景

  雖然大數據越來越流行,但其學習的門檻卻一直阻礙着很多的分布式應用初學者或者大數據的業務應用開發者。多個產品之間的不兼容問題,快速集成和維護也顯得比較困難。不管是 Hadoop V1 或者 V2 的安裝,又或者 Spark/YARN 等的集成,都不是幾行簡單的命令可以完成的,而是需要手工修改很多的集群配置,這進一步增加了業務開發者的學習和使用難度。有了 Ambari,這些都不再是難題。

Ambari介紹

  Ambari 跟 Hadoop 等開源軟件一樣,也是 Apache Software Foundation 中的一個項目,並且是頂級項目。目前最新的發布版本是 2.0.1,未來不久將發布 2.1 版本。就 Ambari 的作用來說,就是創建、管理、監視 Hadoop 的集群,但是這里的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop 以及相關的大數據軟件更容易使用的一個工具。

  說到這里,大家就應該明白什么人最需要 Ambari 了。那些苦苦花費好幾天去安裝、調試 Hadoop 的初學者是最能體會到 Ambari 的方便之處的。而且,Ambari 現在所支持的平台組件也越來越多,例如流行的 Spark,Storm 等計算框架,以及資源調度平台 YARN 等,我們都能輕松地通過 Ambari 來進行部署。

  Ambari 自身也是一個分布式架構的軟件,主要由兩部分組成:Ambari Server 和 Ambari Agent。簡單來說,用戶通過 Ambari Server 通知 Ambari Agent 安裝對應的軟件;Agent 會定時地發送各個機器每個軟件模塊的狀態給 Ambari Server,最終這些狀態信息會呈現在 Ambari 的 GUI,方便用戶了解到集群的各種狀態,並進行相應的維護。詳細的操作和介紹會在后續章節介紹。

在線安裝

一:查看官網

  官網上對ambari的介紹,安裝,使用,都做了闡述,所以盡量按官網的來。

  項目地址:http://ambari.apache.org/

二:下載Ambari的yum倉庫資源描述文件

cd /etc/yum.repos.d/

wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.repo

  這里我們使用最新的2.1.1這個版本。官網上有對應不用系統的資源文件,大家注意下,免得下錯了。

三:開啟yum的在線安裝緩存資源備份

  開啟后,在線安裝的資源就不用再下下來了,直接以后可以離線安裝了。

vim /etc/yum.conf 

  修改成:keepcache=1

  下載的地址:/var/cache/yum/

四:在線安裝

yum install ambari-server

  效果圖:

  下載失敗,多試幾次。

 

五:Ambari設置

  安裝ambari后需要設置,Ambari 會使用 Postgres 數據庫,默認會安裝並使用 Oracle 的 JDK。默認設置了 Ambari GUI 的登錄用戶為 admin/admin。並且指定 Ambari Server 的運行用戶為 root。

ambari-server setup

  自定義賬號:

  選擇JDK:

  choose 2

  這里又要下載,一般我們都有這樣的jdk包,那能不能從本地直接裝列?

  有了想法就行動,跟我來。

  分析圖中,是將JDK 下載到ambari-server/resources/下面,這就好辦了。我們把我們下好的放過去。

cd /var/lib/ambari-server/resources/
ls
rm jdk-7u67-linux-x64.tar.gz.tmpdownload

  拷貝文件到對應目錄

 

   然后我們重新setup

  明顯看到,它發現了jdk的存在,就沒有去下了。

  數據庫配置

  我們選擇PostgreSQL (Embedded)

  Enter advanced database configuration [y/n] (n)? y

  Enter choice (1): 1

  輸入數據庫名稱:ambari

  等等,直接上圖

  這樣,我們的Ambari-server就設置完畢了。

六:啟動Ambari-server服務

ambari-server start

  檢查是否成功

 ps -ef|grep Ambari

  網頁登陸:http://192.168.1.30:8080

  登陸后我們可以看到:

  這樣,我們的ambar-server配置完畢。

 

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM