第132講：Hadoop集群監控：日志、Metrics學習筆記
一般用第三方工具，因為有針對性，可視化更好。
監控的目標是檢測集群，在什么時候沒有提供需要的服務。
hadoop最需要監控的是namenode,secondarynamenode,resourcemanager等。當然也要監控datanode和nodemanager。
依據日志可以發現系統的發生的事件。從日志角度講默認日志信息不夠，希望改變日志的級別。這時可在故障排查時可以查看log4j。
log4j.property中可配置log4j。
metrics更有用。因為metrics可以收集hdfs/mapreduce守護進程的事件和統計信息。如datanode會收集寫入的字節數，block復本數和客戶端發起的讀請求，操作的請求數，包括本地和遠程。metrics存儲於上下文，如hadoop使用的dfs/mapr/rpc等，metrics都會收集。
hadoop-metrics.property中可配置。默認所有上下文都配置成不發布metrics。
用戶可以訪問守護進程的metrics的信息。如想放在文件中可用fileContext，將metrics定到本地文件。
集群中監控的話，因為fileContext會把集群分為各個節點，給分析帶來難度，所以用gangliaContext（后面講）
以上內容是王家林老師DT大數據夢工廠《Hadoop深入淺出實戰經典》第132講的學習筆記。
王家林：Spark、Flink、Docker、Android技術中國區布道師。Spark亞太研究院院長和首席專家，DT大數據夢工廠創始人，Android軟硬整合源碼級專家，英語發音魔術師，健身狂熱愛好者。
微信公眾賬號：DT_Spark
電話：18610086859
QQ:1740415547
微信號：18610086859
新浪微博：ilovepains
王家林的第一個中國夢：免費為全社會培養100萬名優秀的大數據從業人員！
可以通過王家林老師的微信號18610086859發紅包捐助，目前已經發布的王家林免費視頻全集如下：
1，《大數據不眠夜：Spark內核天機解密（共100講）》：http://pan.baidu.com/s/1eQsHZAq
2，《Hadoop深入淺出實戰經典》 http://pan.baidu.com/s/1mgpfRPu
3，《Spark純實戰公益大講壇》 http://pan.baidu.com/s/1jGpNGwu
4，《Scala深入淺出實戰經典》 http://pan.baidu.com/s/1sjDWG25
5，《Docker公益大講壇》 http://pan.baidu.com/s/1kTpL8UF
6，《Spark亞太研究院Spark公益大講堂》 http://pan.baidu.com/s/1i30Ewsd
7，Spark實戰高手之路全部六階段視頻：http://edu.51cto.com/pack/view/id-144.html
8，《大數據Spark企業級實戰》購買http://item.jd.com/11622851.html
第132講視頻網站地址：
| 51CTO |
http://edu.51cto.com/lesson/id-78712.html |