一、開篇
1.背景
在大數據時代，HBase 數據庫是個繞不開的熱門話題。 由於其使用 Java 作為主要開發語言，並且依賴大量的 Java 組件（如 Hadoop、zooKeep），使得其他技術棧想要有一個對應的 hbase 客戶端變得有一定難度。在 .net 的世界中，一直缺乏能夠直接訪問 hbase 的客戶端。
2.歷程
Apache Thrift 作為社區內比較有名的支持多語言的 Api 服務，可以解決跨語言訪問 HBase 數據庫的痛點。在以往的文章中業也介紹過 C#如何使用 thrift 訪問 hbase，但在真正的生產環境中，該方式的訪問效率和原生 Java 客戶端比起來真着實讓人心灰意冷。此外，thrift 也要求服務端和客戶端版本一致。
Protocol Buffers HBase 提供基於 Protocol 的數據訪問，這以一種相對高效緊湊的數據交換規則。基於此，我們能夠造出屬於 .net 的 hbase 客戶端。
這是一個造輪子的過程，中間雖有着許多難點就不再贅述。下面直接介紹該項目的使用。
二、HBaseNet 使用
1.HBase 數據庫准備
作為項目使用演示，我們就不討論如何搭建 HBase 集群了，一切以簡單便捷為前提，直接使用別人構建好的 docker 鏡像就可以輕松獲取 HBase 數據庫的使用。
在 dockerhub 中搜索 hbase 或者命令行：docker search hbase。結果中找到dajobe/hbase，將其 pull 到本地就行。可以按照作者教程進行部署。其核心操作也就幾個簡單命令，現作一簡單摘抄：
docker pull dajobe/hbase # 拉取鏡像到本地
mkdir data # 創建名為data的目錄
id=$(docker run --name=hbase-docker -h hbase-docker -d -v $PWD/data:/data dajobe/hbase) #將hbase-docker設置為主機名運行，並將docker容器id賦值給id
命令行docker inspect hbase-docker|grep IPAddress查看 hbase 主機地址：
"SecondaryIPAddresses": null,
"IPAddress": "172.17.0.2",
"IPAddress": "172.17.0.2",
可以看到我的在 172.17.0.2 上，我們可以直接瀏覽器訪問http://172.17.0.2:16010/，看到habse的主頁說明部署成功。此外，最好將本地物理機的hosts修改以作映射，文件中添加一行172.17.0.2 hbase-docker即可。
2.HBaseNet 簡單演示
演示項目創建
首先創建控制台項目dotnet new console -o HBaseNetTest，然后添加 HBaseNet 客戶端 nuget dotnet add package HBaseNet --version 0.1.0-rc2-final。
使用 AdminClient 創建 HBase 表
直接在主函數中寫下如下代碼:
static async Task Main(string[] args)
{
// 注意在hosts中添加地址映射
var ZkQuorum = "hbase-docker";
var admin = await new AdminClient(ZkQuorum).Build();
if (admin == null) return;
var table = "products";
var cols = new[] { new ColumnFamily("info") };//名為info的列簇
var create = new CreateTableCall(table, cols)
{
SplitKeys = new[] { "8" }// 預分區
};
//簡單判斷表是否存在
var tables = await admin.ListTableNames(new ListTableNamesCall { Regex = table });
if (true != tables?.Any())
{
//使用高級客戶端創建products表
var createResult = await admin.CreateTable(create);
Console.WriteLine($"創建表{table}的結果:{createResult}.");
}
else
{
Console.WriteLine($"表{table}已經存在");
}
}
運行后控制台輸出創建表products的結果:True.。我們再查看主頁http://hbase-docker:16010/，找到Tables，可以看到 products 表已經被創建：
default products ENABLED 2 0 0 0 0 0 0 0 'products', {NAME => 'info', VERSIONS => '3', DATA_BLOCK_ENCODING => 'FAST_DIFF', BLOCKCACHE => 'False', METADATA => {'TTl' => '2147483647'}}
使用 StandardClient 進行數據的寫入和查詢
var client = await new StandardClient(ZkQuorum).Build();
if (client == null) return;
var rowKey = "123";
var values = new Dictionary<string, IDictionary<string, byte[]>>
{
{
"info", new Dictionary<string, byte[]>
{
{"key", "value".ToUtf8Bytes()}
}
}
};
//放入一條數據
var rs = await client.Put(new MutateCall(table, rowKey, values));
Console.WriteLine($"放入數據key:{rowKey},結果:{rs.HasProcessed}");
// 根據rowkey獲取一條數據
var getResult = await client.Get(new GetCall(table, rowKey));
Console.WriteLine($"獲取數據結果key:{rowKey}");
// 使用scanner進行數據掃描
var sc = new ScanCall(table, "1", "")
{
NumberOfRows = 1000
};
using var scanner = client.Scan(sc);
var scanResults = new List<Result>();
while (scanner.CanContinueNext)
{
var per = await scanner.Next();
if (true != per?.Any()) continue;
scanResults.AddRange(per);
}
Console.WriteLine($"掃描數據共返回結果:{scanResults.Count}行");
控制台輸出:
放入數據key:123,結果:True
獲取數據結果key:123
掃描數據共返回結果:1行
日志配置
為了方便友好，建議還是開啟日志進行使用。這里就以使用Serilog為例，添加以下 nuget 包：
dotnet add package Serilog --version 2.10.0-dev-01226
dotnet add package Serilog.Sinks.Console --version 4.0.0-dev-00839
dotnet add package Microsoft.Extensions.DependencyInjection --version 5.0.0-preview.7.20364.11
在主函數最上面添加:
Log.Logger = new LoggerConfiguration()
.Enrich.FromLogContext()
.MinimumLevel.Debug()
.WriteTo.Console(
outputTemplate: "[{Timestamp:yyyy-MM-dd HH:mm:ss} {Level:u3}] {Message:lj}{NewLine}{Exception}")
.CreateLogger();
HBaseConfig.Instance.ServiceProvider = new ServiceCollection()
.AddLogging(cfg => cfg.AddSerilog(Log.Logger))
.BuildServiceProvider();
更多細節可以參考項目里的示例代碼HBaseNet.Console。
三、最后
在 .neter 中使用 hbase 的人極少，多數人還是在抱怨生態不好。但想一想自己能夠做什么，付諸行動總是比無謂的抱怨要好很多的。HBaseNet是一個剛開始的項目，捂了（肝了）幾個月還是把它做出來了。如果對它感興趣，歡迎加入我們或者提出寶貴的修改意見。當然，我最終的願望是希望它對您有用。開源不易，非常歡迎到項目主頁進行 star 鼓勵。
感謝。