hbase添加大文件


一直使用hbase作大容量存儲,因為hbase易於存取。

今天,在錄入數據的時候,突然報出一個KeyValue size too large。很是奇怪。

后來發現,該數據特別大,經查源碼

Java代碼   收藏代碼
  1. private void validatePut(final Put put) throws IllegalArgumentException{  
  2.     if (put.isEmpty()) {  
  3.       throw new IllegalArgumentException("No columns to insert");  
  4.     }  
  5.     if (maxKeyValueSize > 0) {  
  6.       for (List<KeyValue> list : put.getFamilyMap().values()) {  
  7.         for (KeyValue kv : list) {  
  8.          if (kv.getLength() > maxKeyValueSize) {
  9.             throw new IllegalArgumentException("KeyValue size too large");  
  10.           }  
  11.         }  
  12.       }  
  13.     }  
  14.   }  

 說明當某一列的值大於該值的時候,將會拋出該異常,又查看maxKeyValueSize,發現它調用的是hbase配置里的hbase.client.keyvalue.maxsize,默認大小為10M,即 10485760 。將它改大即可。

但是,當我修改完以后,啟動hbase總是出問題,后來又將hbase-env.sh里的HBASE_HEAPSIZE改大。

后來又將mapred-site.xml中的mapred.tasktracker.indexcache.mb改大,至於大於hbase.client.keyvalue.maxsize,不知道有沒有影響,以防萬一吧,我覺得hbase的執行應該是跟job有關系的吧。

請大家多多指教


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM