【原創】大數據基礎之Benchmark（4）TPC-DS測試結果（hive/hive on spark/spark sql/impala/presto）

1 測試集群

內存：256G
CPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）
Disk（系統盤）：300G
Disk（數據盤）：1.5T*1

2 測試數據

• tpcds parquet 10g
• tpcds orc 10g

3 測試對象

• hive-2.3.4 【set mapreduce.map.memory.mb=4096; set mapreduce.map.java.opts=-Xmx3072m;】【yarn 200g*3】
• hive-2.3.4 on spark-2.4.0 【--master yarn --driver-memory 4g --num-executors 10 --executor-memory 4g】
• spark-2.4.0 【--master yarn --driver-memory 4g --num-executors 10 --executor-memory 4g】
• impala-2.12 【MEM_LIMIT=20gb * 3】

默認配置，未經優化；

4 測試結果

4.1 parquet

ps：0 means 執行失敗

 

 

4.2 orc

ps：0 means 執行失敗

 

 

可見：

hive orc相比parquet性能提升22%；
spark parquet相比orc性能提升36%；