hive參數設置

 

-- 設置hive的計算引擎為spark
set hive.execution.engine=spark;

-- 修復分區
set hive.msck.path.validation=ignore;
msck repair table sub_ladm_app_click_day_cnt;

-- 打印表頭
set hive.cli.print.header=true;
set hive.cli.print.row.to.vertical=true;
set hive.cli.print.row.to.vertical.num=1;
 
-- 顯示當前數據庫
set hive.cli.print.current.db=true;

 

// 開啟任務並行執行
set hive.exec.parallel=true;
// 同一個sql允許並行任務的最大線程數
set hive.exec.parallel.thread.number=8;

 

-- 1、合並輸入文件
-- 每個Map最大輸入大小
set mapred.max.split.size=128000000;
-- 一個節點上split的至少的大小 
set mapred.min.split.size.per.node=100000000;
-- 一個交換機下split的至少的大小
set mapred.min.split.size.per.rack=100000000;
-- 執行Map前進行小文件合並
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

-- 2、合並輸出文件
-- 在Map-only的任務結束時合並小文件
set hive.merge.mapfiles=true;
-- 在Map-Reduce的任務結束時合並小文件
set hive.merge.mapredfiles = true;
-- 合並文件的大小
set hive.merge.size.per.task = 134217728;
-- 當輸出文件的平均大小小於該值時，啟動一個獨立的map-reduce任務進行文件merge
set hive.merge.smallfiles.avgsize=16000000;

 

-- pa
set hive.exec.parallel = true;
set hive.exec.parallel.thread.number=50;

set mapred.reduce.tasks=999;
set hive.merge.smallfiles.avgsize=100000000;
set mapred.combine.input.format.local.only=false;

-- 控制hive任務的reduce數
set hive.exec.reducers.bytes.per.reducer=200000000;
set hive.exec.reducers.max=150;
set hive.exec.compress.intermediate=true;

-- map執行前合並小文件，減少map數
set mapred.max.split.size=256000000;
set mapred.min.split.size=256000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

set hive.merge.mapredfiles = true;
set hive.merge.smallfiles.avgsize=100000000;
set mapred.combine.input.format.local.only=false;

set hive.map.aggr=true;
set hive.groupby.skewindata=true;

set mapreduce.reduce.memory.mb=6144;
set mapreduce.reduce.java.opts=-Xms2000m -Xmx8192m;
set mapred.compress.map.output=true;
set Hive.optimize.skewjoin = true;
set Hive.skewjoin.key=10000000;
set hive.auto.convert.join=true;
set hive.mapjoin.smalltable.filesize=25000000;

set io.sort.spill.percent=0.6;
set mapred.job.shuffle.input.buffer.percent=0.2 ;
set mapred.job.shuffle.merge.percent=0.6;

set hive.orc.compute.splits.num.threads=50;

-- 修改reduce任務從map完成80%后開始執行
set mapreduce.job.reduce.slowstart.completedmaps=0.8

-- 加大內存
set mapreduce.map.memory.mb=16384;
set mapreduce.map.java.opts=-Xmx13106M;
set mapred.map.child.java.opts=-Xmx13106M;
set mapreduce.reduce.memory.mb=16384;
set mapreduce.reduce.java.opts=-Xmx13106M;--reduce.memory*0.8
set mapreduce.task.io.sort.mb=512

 

-- 從本地文件加載數據：
LOAD DATA LOCAL INPATH '/home/hadoop/input/ncdc/micro-tab/sample.txt' OVERWRITE INTO TABLE records;
load data local inpath '/home/hive/partitions/files' into table logs partition (dt='2017-08-01',country='GB');

 

-- 函數幫助
show functions;
desc function to_date;
desc function extended to_date;

 

-- 數組、map、結構
select col1[0],col2['b'],col3.c from complex;

 

-- 導出orc文件
hive --orcfiledump /user/hive/warehouse/sx_360_safe.db/user_reg_info_init2

 

-- 導出hive表數據
insert overwrite local directory '/tmp/tmp_20170830/app_210_s3_1016' row format delimited fields terminated by ',' select * from app_210_s3_1016;
cd /tmp/tmp_20170830/sub_ladm_exc_app_210_s3_1016
cat * > /tmp/tmp_20170830/result/app_210_s3_1016.csv
cd /tmp/tmp_20170830/result/
gzip app_210_s3_1016.csv

 

-- hive生成統一ID
select regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "");

 

-- 行轉列功能
-- 打印列名
set hive.cli.print.header=true;
-- 開啟行轉列功能, 前提必須開啟打印列名功能
set hive.cli.print.row.to.vertical=true;
-- 設置每行顯示的列數
set hive.cli.print.row.to.vertical.num=1;