第十章 Hive调优 【小文件合并】
View Code View Code ...
相关推荐
第十章 Hive调优 【本地模式】
set mapreduce.job.reduces=1; -- 注意将reduce个数设置为1 才会生效 ...
hive中笛卡尔积的优化
由于一个业务，必须要进行笛卡尔积，但是速度太慢了，left join时左表大概4万条数据，右表大概 3000多条数据，这样大概就是一亿多条数据， 这在大数据领域其实不算很大的数据量，但是hive中跑的特别慢。因为hive对笛卡尔积支持的不是很好，由于是全局的操作，所以只能在一个reduce中 ...