HBase scan setBatch和setCaching的區別【轉】


轉自:http://blog.csdn.net/caoli98033/article/details/44650497

 

HBase的查詢實現只提供兩種方式:

1、按指定RowKey獲取唯一一條記錄,get方法(org.apache.hadoop.hbase.client.Get)

2、按指定的條件獲取一批記錄,scan方法(org.apache.Hadoop.Hbase.client.Scan)

 

實現條件查詢功能使用的就是scan方式,scan在使用時有以下幾點值得注意:
1、scan可以通過setCaching與setBatch方法提高速度(以空間換時間);
2、scan可以通過setStartRow與setEndRow來限定范圍([start,end)start是閉區間,end是開區間)。范圍越小,性能越高。
通過巧妙的RowKey設計使我們批量獲取記錄集合中的元素挨在一起(應該在同一個Region下),可以在遍歷結果時獲得很好的性能。
3、scan可以通過setFilter方法添加過濾器,這也是分頁、多條件查詢的基礎。

 

scan中的setCaching與setBatch方法的區別是什么呢?

setCaching設置的值為每次rpc的請求記錄數,默認是1;cache大可以優化性能,但是太大了會花費很長的時間進行一次傳輸。

setBatch設置每次取的column size;有些row特別大,所以需要分開傳給client,就是一次傳一個row的幾個column。

batch和caching和hbase table column size共同決意了rpc的次數。

 

通過下表可以看出caching/batch/rpc次數的關系:

 

10 rows, 2 families, 10column per family,total:200 cell
 

 

 

緩存 批量處理 Result個數 RPC次數 說明
1 1 200 201 每個列都作為一個Result實例返回。最后還多一個RPC確認掃描完成
200 1 200 2 每個Result實例都只包含一列的值,不過它們都被一次RPC請求取回
2 10 20 11 批量參數是一行所包含的列數的一半,所以200列除以10,需要20個result實例。同時需要10次RPC請求取回。
5 100 10 3 對一行來講,這個批量參數實在是太大了,所以一行的20列都被放入到了一個Result實例中。同時緩存為5,所以10個Result實例被兩次RPC請求取回。
5 20 10 3 同上,不過這次的批量值與一行列數正好相同,所以輸出與上面一種情況相同
10 10 20 3 這次把表分成了較小的result實例,但使用了較大的緩存值,所以也是只用了兩次RPC請求就返回了數據

要計算一次掃描操作的RPC請求的次數,用戶需要先計算出行數和每行列數的乘積。然后用這個值除以批量大小和每行列數中較小的那個值。最后再用除得的結果除以掃描器緩存值。 用數學公式表示如下:

 RPC請求的次數=(行數x每行的列數)/
  Min(每行的列數,批量大小)/掃描器緩存

此外,還需要一些請求來打開和關閉掃描器。用戶或許需要把這兩次請求也考慮在內。 

下圖展示了緩存和批量兩個參數如何聯動。 


掃描器緩存和批量兩個參數控制RPC的次數 

小的批量值使服務器端把3個列裝入一個Result實例,同時掃描器緩存為6,使每個RPC請求傳輸6行,即6個被批量封裝的Result實例。如果沒有指定批量大小,而是指定了掃描器緩存,那么一個調用結果就能包含所有的行,因為每一行都包含在一個Result實例中。只有當用戶使用批量模式后,行內(intra-row)掃描功能才會啟用。

 

 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2026 CODEPRJ.COM