HBase使用壓縮存儲(snappy)


在將mysql數據導入到hbase數據的過程中,發現hbase的數據容量增加很快,

原本在mysql存儲30G容量的數據導入到hbase一直增加到快150G(還未完全導入,手動結束),

而采用默認3個備份儲存的話,基本上真個集群有450G的容量。

查看了一些資料,發現hbase的儲存確實耗空間,一般hbase采用壓縮算法來解決,其中snappy

的算法收到Google的推崇,而且CDH中,直接安裝了snappy的庫,所以直接用了。

hbase> disable 'test'
hbase> alter 'test', {NAME => 'cf', COMPRESSION => 'SNAPPY'}
hbase> enable 'test'

使用后,沒有立即生效,按照一些資料執行major_compact命令后,也沒有發現生效,
但是過了一段時間以后發現表的容量變化了,壓縮前原本150G,壓縮后15G左右(查資料壓縮率最好效果22%左右,這個還沒有大量測試)
效果還比較明顯。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM