impala 參數max_row_size


impala 往一個表里回插數據時,出現的現象:

Row of size 3.05MB could  not be materialized in plan node with id 5.increase the max_row_size query option (currently 512.00KB) to process larger rows

原因分析:

       可以參考:http://impala.apache.org/docs/build/html/topics/impala_max_row_size.html

確保Impala可以處理至少指定大小的行。 (可能會成功處理較大的行,但無法保證。)在結果集中構造中間行或最終行時適用。 此設置可防止在訪問包含大字符串的列時使用導致內存失控。

如果查詢失敗,因為它涉及具有長字符串或許多列的行,導致總行大小超過 MAX_ROW_SIZE 字節,請增加 MAX_ROW_SIZE 設置以適應存儲在最大行中的總字節數。檢查任何失敗查詢的錯誤消息,以查看導致問題的行的大小。

 

解決方法:
默認的類型為string,string類型默認為UTF-8字符集下最大為64kb,即為65536 bytes。

set max_row_size=7mb;

然后在運行回插SQL即可。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM