HBase2.0新特性解析
作者 | 個推大數據運維工程師 行者 升級背景 個推作為專業的數據智能服務商，在業務開展過程中存在海量的數據存儲與查詢的需求，為此個推選用了高可靠、高性能、面向列、可伸縮的分布式數據存儲系統——HBase。 然而，運行HBase老集群（使用HBase1.0版本）多年后，遇到了兩大問題：各節 ...
原文：HBase2.0新特性之In-Memory Compaction
In Memory Compaction是HBase . 中的重要特性之一，通過在內存中引入LSM結構，減少多余數據，實現降低flush頻率和減小寫放大的效果。本文根據HBase . 中相關代碼以及社區的討論 博客，介紹In Memory Compaction的使用和實現原理。 原理 概念和數據結構 In Memory Compaction中引入了MemStore的一個新的實現類Compactin ...
2018-04-19 09:04 0 1512 推薦指數：
相關推薦
scala操作HBase2.0
在前面： scala:2.12 hbase:2.0.2 開發工具：IDEA 准備工作： 1、將生產上的hbase中的conf/hbase-site.xml文件拷貝到idea中的src/resources目錄下 2、將生產環境中hbase中 ...
HBase2.0中的Benchmark工具 — PerformanceEvaluation
簡介 在項目開發過程中，我們經常需要一些benchmark工具來對系統進行壓測，以獲得系統的性能參數，極限吞吐等等指標。 而在HBase中，就自帶了一個benchmark工具—PerformanceEvaluation，可以非常方便地對HBase的Put、Get、Scan等API進行性能測試 ...
HBase2.0的修復工具HBCK2
1. 背景 在了解HBCK2之前，建議先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不適用，且它的寫功能（-fix）已刪除，它雖然還可以報告HBase2.x集群的狀態，但是由於它不了解HBase2.x集群內部的工作原理，因此其評估將不 ...
HBase2.0 meta信息丟失的修復方法
在HBase入庫日志中發現有一個表入庫失敗，檢查HBase服務端后發現該表的meta信息丟失了： 而HDFS上的region還在： 而HBCK工具不支持HBase2.0版本，只好自己寫一個修復工具。網上可以搜到前輩們自己編寫的一些工具，比如這一篇寫的就比較詳細 https ...
HBase MemStore和Compaction剖析
1.概述 客戶端讀寫數據是先從Zookeeper中獲取RegionServer的元數據信息，比如Region地址信息。在執行數據寫操作時，HBase會先寫MemStore,為什么會寫到MemStore。本篇博客將為讀者剖析HBase MemStore和Compaction的詳細內容。 2. ...
HBase Compaction詳解
HBase Compaction策略 RegionServer這種類LSM存儲引擎需要不斷的進行Compaction來減少磁盤上數據文件的個數和刪除無用的數據從而保證讀性能。 RegionServer后台有一組負責flush region的線程(MemStoreFlusher)，每次 ...
TensorFlow 2.0 新特性
安裝 TensorFlow 2.0 Alpha 本文僅僅介紹 Windows 的安裝方式： pip install tensorflow==2.0.0-alpha0 # cpu 版本 pip install tensorflow==2.0.0-alpha0 # gpu 版本 ...