hive小文件合並

hive小文件合並。

當使用union all會產生多個文件夾，可以設定distributed by 或者reduce個數。

 

hive合並。

SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=3000; set hive.exec.max.dynamic.partitions.pernode=500; SET hive.tez.container.size=6656; SET hive.tez.java.opts=-Xmx5120m; set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=1280000000; set hive.merge.size.per.task=1280000000; set hive.execution.engine=tez;

tez引擎合並。

set mapred.reduce.tasks =1;
set tez.am.container.reuse.enabled=true;
set tez.runtime.io.sort.mb=1024;
Set hive.tez.container.size=4096;
Set hive.tez.java.opts=-Xmx2g;
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000000;
set hive.merge.size.per.task=128000000;