hive小文件合并

hive小文件合并。

当使用union all会产生多个文件夹，可以设定distributed by 或者reduce个数。

 

hive合并。

SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=3000; set hive.exec.max.dynamic.partitions.pernode=500; SET hive.tez.container.size=6656; SET hive.tez.java.opts=-Xmx5120m; set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=1280000000; set hive.merge.size.per.task=1280000000; set hive.execution.engine=tez;

tez引擎合并。

set mapred.reduce.tasks =1;
set tez.am.container.reuse.enabled=true;
set tez.runtime.io.sort.mb=1024;
Set hive.tez.container.size=4096;
Set hive.tez.java.opts=-Xmx2g;
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000000;
set hive.merge.size.per.task=128000000;