監控Hadoop集群實戰篇
作者:尹正傑
版權聲明:原創作品,謝絕轉載!否則將追究法律責任。
一.監控Linux服務器
大多數Hadoop安裝在Linux系統上,因此必須了解Linux監控的事情,並且要熟悉Linux系統監控工具。緩慢的系統可能會導致處理器(CPU),內存,磁盤或帶寬等方面的瓶頸。 系統工具可幫助我們清楚地識別導致性能下降的瓶頸。監控Linux設計跟蹤關鍵系統資源,如存儲子系統,CPU,內存和網絡。 博主推薦閱讀: https://www.cnblogs.com/yinzhengjie/p/13876422.html
二.監控Hadoop指標
Hadoop指標是關於各種Hadoop守護程序的信息集合。例如,ResourceManager守護程序生成關於作業隊列的指標。Hadoop Metrics(正式說法為Metric 2)在分析hadoop服務的性能時至關重要。
Hadoop提供了非常有用的指標,可以通過這些指標監視,調整和調試MapReduce和其他作業。每個hadoop守護程序都會提供指標。 博主推薦閱讀: https://www.cnblogs.com/yinzhengjie/p/13908798.html
三.使用Ganglia監控Hadoop集群實戰篇
開源軟件Ganglia是企業廣泛使用的一種很好的工具,用於指標收集和跟蹤,以及指標的匯聚。開源設置Ganglia在集群節點上運行,從而Hadoop可以將數據發送到Ganglia接收器。然后,可以設置Nagios使用這些指標作為發送關鍵警報的基礎。Ganglia可以監測非常大的集群。 Ganglia收集CPU和可用磁盤空間等指標,還可以幫助監測故障點。Ganglia可以提供有關集群及其節點狀態的圖形信息。Ganglia收集器運行監測守護程序並收集指標。收集器通過Web用戶界面以及與運行進程有關的指標,實時顯示內存,磁盤和網絡使用情況。 博主推薦閱讀: https://www.cnblogs.com/yinzhengjie2020/p/13829436.html
四.Hadoop日志記錄
五.使用Hadoop的Web UI進行監控
六.監控其他Hadoop組件