Hbase集群監控
Hbase Jmx監控
監控每個regionServer的總請求數，readRequestsCount，writeRequestCount，region分裂，region合並，Store
數據來源：
/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server
設計：
- 1.定時調度Hbase Jmx去撈取數據，數據存放在Mysql，最新的一條數據存放到redis緩存中查（設置過期時間5分鍾）並插入數據庫中(定時每五分鍾調度一次)
- 2.每次獲取Jmx數據后，從redis中獲取5分鍾前的數據，進行計算獲取5分鍾內的數據並保存到數據庫中
查看詳細圖片：
Hbase對每張表的讀寫監控
數據來源：
通過Hbase Java Api
- 連接HBASE
org.apache.hadoop.hbase.client.Connection connection - 然后獲取org.apache.hadoop.hbase.client.Admin admin = connection.getAdmin();
- 得到HBASE中的regionServer集合，
- 獲取每個regionServer中RegionsLoad()；
- 遍歷RegionLoad獲取每張表的Table Region
查看詳細圖片：
jmx常用監控指標
| 監控指標 | 范圍 | 指標含義 |
|---|---|---|
| OpenFileDescriptorCount | Regionserver本機 | 當前機器打開文件數 |
| FreePhysicalMemorySize | Regionserver本機 | 空虛物理內存大小 |
| AvailableProcessors | Regionserver本機 | 可用cpu個數 |
| Region前綴--storeCount | 單個region | Store個數 |
| Region前綴--storeFileCount | 單個region | Storefile個數 |
| Region前綴--memStoreSize | 單個region | Memstore大小 |
| Region前綴--storeFileSize | 單個region | Storefile大小 |
| Region前綴--compactionsCompletedCount | 單個region | 合並完成次數 |
| Region前綴--numBytesCompactedCount | 單個region | 合並文件總大小 |
| Region前綴-- numFilesCompactedCount | 單個region | 合並完成文件個數 |
| totalRequestCount | Regionserver | 總請求數 |
| readRequestCount | Regionserver | 讀請求數 |
| writeRequestCount | Regionserver | 寫請求數 |
| compactedCellsCount | Regionserver | 合並cell個數 |
| majorCompactedCellsCount | Regionserver | 大合並cell個數 |
| flushedCellsSize | Regionserver | flush到磁盤的大小 |
| blockedRequestCount | Regionserver | 因memstore大於閾值而引發flush的次數 |
| splitRequestCount | Regionserver | region分裂請求次數 |
| splitSuccessCounnt | Regionserver | region分裂成功次數 |
| slowGetCount | Regionserver | 請求完成時間超過1000ms的次數 |
| numOpenConnections | Regionserver | 該regionserver打開的連接數 |
| numActiveHandler | Regionserver | rpc handler數 |
| receivedBytes | Regionserver | 收到數據量 |
| sentBytes | Regionserver | 發出數據量 |
| HeapMemoryUsage --->>>used | Regionserver | 堆內存使用量 |
| SyncTime_mean | Regionserver | WAL寫hdfs的平均時間 |
| regionCount | Regionserver | Regionserver管理region數量 |
| memStoreSize | Regionserver | Regionserver管理的總memstoresize |
| storeFileSize | Regionserver | 該Regionserver管理的storefile大小 |
| staticIndexSize | Regionserver | 該regionserver所管理的表索引大小 |
| storeFileCount | Regionserver | 該regionserver所管理的storefile個數 |
| hlogFileSize | Regionserver | WAL文件大小 |
| hlogFileCount | Regionserver | WAL文件個數 |
| storeCount | Regionserver | 該regionserver所管理的store個數 |
| Name: java.lang:type=MemoryPool,name=Par Eden Space CollectionUsage—>>used | Regionserver | Eden區使用空間大小 |
| Name: java.lang:type=MemoryPool,name=CMS Old Gen | Regionserver | 老年代內存大小 |
| Name: java.lang:type=MemoryPool,name=Par Survivor Space CollectionUsageà> used | Regionserver | Survivor內存大小 |
| GcTimeMillis | Regionserver | GC總時間 |
| GcTimeMillisParNew | Regionserver | ParNew GC時間 |
| GcCount | Regionserver | GC總次數 |
| GcCountConcurrentMarkSweep | Regionserver | ConcurrentMarkSweep總次數 |
| GcTimeMillisConcurrentMarkSweep | Regionserver | ConcurrentMarkSweep GC時間 |
| ThreadsBlocked | Regionserver | Block線程數 |
| ThreadsWaiting | Regionserver | 等待線程數 |
原文鏈接：http://blogxinxiucan.sh1.newtouch.com/2017/08/10/Hbase集群監控/
公眾號：it全能程序猿
