HBase Thrift 接口的一些使用問題及相關注意事項

作者: 大圓那些事 | 文章可以轉載，請以超鏈接形式標明文章原始出處和作者信息

網址: http://www.cnblogs.com/panfeng412/archive/2012/11/11/hbase-thrift-api-common-issues-summary.html

HBase對於非Java語言提供了Thrift接口支持，這里結合對HBase Thrift接口（HBase版本為0.92.1）的使用經驗，總結其中遇到的一些問題及其相關注意事項。

1. 字節的存放順序

HBase中，由於row（row key和column family、column qualifier、time stamp）是按照字典序進行排序的，因此，對於short、int、long等類型的數據，通過Bytes.toBytes(…)轉換成byte數組后，必須按照大端模式（高字節在低地址，低字節在高地址）存放。對於value，也是同樣的道理。因此，在使用Thrift API（C++、Php、Python等）方式時，最好對於row和value都統一按照大端進行pack和unpack處理。

舉個例子，C++中，對於int型變量，經過以下方式轉換為字典序：

  string key;
  int32_t timestamp = 1352563200;
  const char* pTs =(const char*) &timestamp;
  size_t n = sizeof(int32_t);
  key.append(pTs, n);

通過以下方式將字典序轉換為int：

  const char * ts = key.c_str();
  int32_t timestamp = *((int32_t*)(ts));

Php中則提供了pack和unpack方法進行轉換：

  $key = pack("N", $num);
  $num = unpack("N", $key);

2. TScan的使用陷阱

HBase的PHP Thrift接口中，TScan可以直接通過設置startRow、stopRow、columns、filter等屬性，默認這些屬性均為null，設置后變為非null（通過TScan的構造函數或直接對TScan的成員變量進行賦值）。通過write()方法和Thrift Server進行RPC操作時，直接判斷的依據是這些屬性不為null，則通過Thrift協議傳輸到Thrift Server端。

但是在C++的Thrift接口中，TScan中有一個_TScan__isset __isset類型的變量，其內部結構如下：

typedef struct _TScan__isset {
  _TScan__isset() : startRow(false), stopRow(false), timestamp(false), columns(false), caching(false), filterString(false) {}
  bool startRow;
  bool stopRow;
  bool timestamp;
  bool columns;
  bool caching;
  bool filterString;
} _TScan__isset;

TScan的write()方法則是通過判斷_TScan__isset下的各個bool變量標記是否設置了startRow、stopRow、columns、filter等屬性，決定是否將這些屬性通過Thrift協議傳輸到Thrift Server端，而這些屬性必須通過__set_xxx()方法進行設置才能生效！在TScan的默認構造函數中，並不會對這些屬性對應的__isset標記設置為true！

因此，如果直接通過TScan的構造函數初始化startRow、stopRow、columns、filter等屬性會導致從頭遍歷該表，只有調用了__set_xxx()方法才會將對應的bool標識設置為true，這樣服務端才會從Thrift Server獲取startRow、stopRow、columns、filter等屬性進行掃描。

3. 並發訪問線程數

首先，為了盡可能減少由於網絡傳輸帶來的時間開銷，HBase的Thrift Server最好和應用客戶端部署在同一台機器上。Thrift Server啟動時可以通過參數配置並發線程數，否則很容易導致Thrift Server線程滿了不響應客戶端的讀寫請求，具體命令：bin/hbase-daemon.sh start thrift --threadpool -m 200 -w 500（更多參數參考這里：bin/hbase-daemon.sh start thrift -h）。

4. 最大堆內存配置

如果客戶端與Thrift Server進行scan操作順序讀取數據，而且設置了一定的cache記錄條數（通過TScan的int32_t caching變量設置），那么這些被caching的記錄數可能會占用Thrift Server相當部分的堆內存，尤其在多客戶端並發訪問時更明顯。

因此，在Thrift Server啟動前，可以調大最大堆內存，否則可能由於java.lang.OutOfMemoryError異常而導致進程被殺掉，尤其是當Scan時設置了較大的caching記錄條數的情況（默認為export HBASE_HEAPSIZE=1000MB，可以在conf/hbase-env.sh中設置）。