監控Hadoop集群實戰篇


           監控Hadoop集群實戰篇

                                  作者:尹正傑 

版權聲明:原創作品,謝絕轉載!否則將追究法律責任。

 

 

 

一.監控Linux服務器

  大多數Hadoop安裝在Linux系統上,因此必須了解Linux監控的事情,並且要熟悉Linux系統監控工具。緩慢的系統可能會導致處理器(CPU),內存,磁盤或帶寬等方面的瓶頸。

  系統工具可幫助我們清楚地識別導致性能下降的瓶頸。監控Linux設計跟蹤關鍵系統資源,如存儲子系統,CPU,內存和網絡。

  博主推薦閱讀:
    https://www.cnblogs.com/yinzhengjie/p/13876422.html

 

二.監控Hadoop指標

  Hadoop指標是關於各種Hadoop守護程序的信息集合。例如,ResourceManager守護程序生成關於作業隊列的指標。Hadoop Metrics(正式說法為Metric 2)在分析hadoop服務的性能時至關重要。

  Hadoop提供了非常有用的指標,可以通過這些指標監視,調整和調試MapReduce和其他作業。每個hadoop守護程序都會提供指標。   博主推薦閱讀:     https:
//www.cnblogs.com/yinzhengjie/p/13908798.html

 

三.使用Ganglia監控Hadoop集群實戰篇

  開源軟件Ganglia是企業廣泛使用的一種很好的工具,用於指標收集和跟蹤,以及指標的匯聚。開源設置Ganglia在集群節點上運行,從而Hadoop可以將數據發送到Ganglia接收器。然后,可以設置Nagios使用這些指標作為發送關鍵警報的基礎。Ganglia可以監測非常大的集群。

  Ganglia收集CPU和可用磁盤空間等指標,還可以幫助監測故障點。Ganglia可以提供有關集群及其節點狀態的圖形信息。Ganglia收集器運行監測守護程序並收集指標。收集器通過Web用戶界面以及與運行進程有關的指標,實時顯示內存,磁盤和網絡使用情況。

  博主推薦閱讀:
    https://www.cnblogs.com/yinzhengjie2020/p/13829436.html

 

四.Hadoop日志記錄

 

五.使用Hadoop的Web UI進行監控

 

六.監控其他Hadoop組件

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM