Hadoop生態圈-Ambari控制台功能簡介


                Hadoop生態圈-Ambari控制台功能簡介

                                              作者:尹正傑

版權聲明:原創作品,謝絕轉載!否則將追究法律責任。

 

 

 

 

 

  在經歷一系列安裝過程之后(部署過HDP后我終於發現為什么大家喜歡用它了,部署比CDH簡單是他優勢之一!),我們已經新建了一個進群並進入到Ambari到集群控制台首頁。Ambari到集群控制台主要分為3個區域,如下圖所示:

  好啦,接下來我會簡單介紹一下Ambari到核心功能。

 

一.集群管服務管理

  Ambari 為Hadoop服務提供了一套強大的管理與維護的功能,包括集群用戶,服務安裝,服務監控等。

1>.集群用戶

   如下圖所示,通過右上角Admin菜單進入集群用戶頁面,我們可以看到Ambari對於已經安裝的Hadoop服務都預建了一套用戶。這些用戶有兩層含義:

    第一:Ambari系統內部的服務用戶,這類用戶是存儲在Ambari自己的元數據數據庫中的;

    第二:通過Agent服務在目標主機上建立的linux用戶,Hadoop在運行期間會使用這些Linux用戶。

  Ambari高度自動化的集群用戶功能,不僅免去了通過原始手工維護集群用戶時的種種煩惱,也為日后集成權限,認證系統提供了空間。

 

2>.集群服務控制與監控

   Ambari 的管理控制台還提供了對集群服務監控的能力。為了便於理解,這里以HDFS位列來舉例說明。對於其他服務的監控與HDFS類似。

  如上圖所示,使用左側組件菜單點擊HDFS,可以看到右邊頁面切換成了HDFS的整體信息摘要,從摘要頁面可以看到HDFS的Namenode和Datanode服務的狀態概要信息,同時也能看到一些簡單的指標,比如內存垃圾回收次數,連接負載等。不僅如此,如下圖所示,通過右上角的“Server Actions”菜單,還能實現對HDFS進行各種操作,例如啟動,停止,重啟,平衡負載,下載客戶端配置和刪除服務等等。只需要點點鼠標就能完成集群服務的控制,這些功能和CDH幾乎是一樣的。對CDH熟悉的小伙伴來看HDP的界面估計會很快就能上手的喲!

 

 

二.集群服務配置

  Ambari也提供對集群服務對配置進行維護對功能,免去了手工修改配置對低效和繁瑣。為了便於理解,這里還是以HDFS為例來進行舉例說明。

1>.查看HDFS常用的一些配置

   如下圖所示,在HDFS的信息摘要頁面點擊Config菜單,頁面會切換成HDFS的配置頁面。映入眼簾的是HDFS最常用的一些配置,例如NameNode和DataNode的文件路徑,NameNode和DataNode的堆內存大小等等,我們可以通過圖形化交互的方式輕松的修改這些配置參數。

 

 

 

2>.HDFS的高級設置

   除了上述這些常用配置之外,還可以進行更進一步的高級設置。如下圖所示,點擊Advanced按鈕切換到高級設置頁面,可以看到在高級配置頁面已經定義了HDFS所有的可配置項。

 

  在找到需要修改的配置進行修改之后單擊Save按鈕即可完成修改動作,如下圖所所示:

  點擊保存后,可能要你輸入本次修改的一個備注信息!如下圖所示:

  點擊上圖所示的“Save”成功后,可能會彈出如下圖所示的對話框(提示保存配置成功),點擊“ok”即可。

  如下圖所示,如果修改的配置需要相應的關聯服務重啟之后才能生效的化,Ambari也會通過提醒的方式讓我們快速地進行服務重啟。 

  下圖是重啟過程中的截圖:

3>.修改版本回退案例

   如果配置參數修改錯誤了怎么辦呢?這個也不用咱們擔心,Ambari會自動記錄配置修改的歷史軌跡,每一次的修改都會再生成一個版本。如下圖所示:我們在修改之后可以隨時瀏覽歷史版本的配置項,還可以對比不同版本的配置內容,甚至還可以恢復到某個版本的配置內容喲!

 

   如下圖說是,我們將之前到配置修復回去,即將副本數為2恢復到之前到副本數為3到配置(因為在本篇博客中我只修改到了這一處參數!):

  如下圖所示,我們在V2的版本上恢復到V1的配置,那么會自動生成一個新的版本,修改后,我們依舊需要重啟服務喲!

 

 

  重啟時,會有2個參數,一般情況下,我們應該選擇第一個參數,如果你修改的參數是只針對Datanode節點生效的化,咱們也是可以只重啟DataNode節點的喲!

4>.通過HDFS原聲管理系統訪問NameNode UI系統

  大多數組件服務都會擁有自己的一套原生管理系統,這里還是以HDFS為例來進行舉例說明。如下圖說是,HDFS就有NameNode UI系統用來觀察集群狀態和查看文件。如果想快速鏈接到組件服務相應的原聲UI系統可以通過“Quick Links”功能進行便捷的頁面鏈接。

 

 

  如下圖所示,點擊上圖中的“NameNode UI”按鈕就可以訪問NameNode 的WebUI界面。 

 

三.Ambari提供的輔助工具

  Ambari 在提供了集群的安裝,管理和監控功能的同時,還附帶了一些十分有用的輔助工具,用於提示Hadoop服務使用的易用性。

1>.HDFS文件管理

   HDFS是一個分布式文件系統,默認的情況下我們只能通過它並提供Shell命令進程日常的維護操作,這種操作方式有一定的使用門檻,並且不直觀。Ambari提供了針對HDFS的文件管理功能,讓我們通過可視化的方式查看HDFS上的目錄和文件列表,同時通過功能按鈕還能新建目錄和上傳文件,如下圖所示,這種管理方式十分的方便。

  創建新目錄,如下:

  如果你創建失敗時,可能會有以下的提示信息:

  查看創建目錄失敗的原因(當前用戶是admin),如下圖所示:

  上面的報錯是由於hdfs默認是開啟用戶認證的方式的,我們想要解決這個報錯,暴力的方法有兩個:第一,關閉掉認證機制;第二,使用hdfs用戶創建“/yinzhengjie”目錄即可。

[root@node101 ~]# su hdfs
[hdfs@node101 root]$ hdfs dfs -ls /
Found 2 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -mkdir /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -chmod -R 777 /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -ls /        
Found 3 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 22:14 /yinzhengjie
[hdfs@node101 root]$ 

  創建對應的用戶到hdfs集群上。

  如下圖所示,上傳本地文件到hdfs集群中。

 

 

2>.其他輔助工具

   其實Ambari提供了很多輔助工具,比如上述到HDFS文件管理。還有Hive 查詢工具,Yarn任務隊列管理,自助式分析系統等等。可能有的小伙伴會說:“並沒有什么卵用,CDH以及繼承了HUE,而HUE上述到這些功能基本上都包括!”,其實工具主要在於使用者本身,有的人喜歡使用CDH,他們更喜歡CDH炫酷都webUI界面!而有的人則喜歡HDP,這一點我並不要求大家使用那塊軟件,我的建議是:“CDH和HDP兩個產品,你熟悉哪個就用哪個比較好!”。由於我們在安裝的時候只安裝了基礎的監控服務,以及HDFS和zookeeper服務,因此其他的功能我暫時就不給大家做一一舉例啦~

  如果有機會的話我會給大家進行一一的分享操作,時間也不早了,在這里我預祝大家工作順利!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM