前言
Hive on Spark是指使用Spark替代傳統MapReduce作為Hive的執行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理調整參數才能最大化性能，本文簡單列舉一些調優項。為了符合實際情況，Spark也采用on YARN部署方式來說明。
executor參數
spark.executor.cores
該參數表示每個Executor可利用的CPU核心數。其值不宜設定過大，因為Hive的底層以HDFS存儲，而HDFS有時對高並發寫入處理不太好，容易造成race condition。根據我們的實踐，設定在3~6之間比較合理。
假設我們使用的服務器單節點有32個CPU核心可供使用。考慮到系統基礎服務和HDFS等組件的余量，一般會將YARN NodeManager的yarn.nodemanager.resource.cpu-vcores參數設為28，也就是YARN能夠利用其中的28核，此時將spark.executor.cores設為4最合適，最多可以正好分配給7個Executor而不造成浪費。又假設yarn.nodemanager.resource.cpu-vcores為26，那么將spark.executor.cores設為5最合適，只會剩余1個核。
由於一個Executor需要一個YARN Container來運行，所以還需保證spark.executor.cores的值不能大於單個Container能申請到的最大核心數，即yarn.scheduler.maximum-allocation-vcores的值。
spark.executor.memory/spark.yarn.executor.memoryOverhead
這兩個參數分別表示每個Executor可利用的堆內內存量和堆外內存量。堆內內存越大，Executor就能緩存更多的數據，在做諸如map join之類的操作時就會更快，但同時也會使得GC變得更麻煩。Hive官方提供了一個計算Executor總內存量的經驗公式，如下：
yarn.nodemanager.resource.memory-mb * (spark.executor.cores / yarn.nodemanager.resource.cpu-vcores)
其實就是按核心數的比例分配。在計算出來的總內存量中，80%~85%划分給堆內內存，剩余的划分給堆外內存。
假設集群中單節點有128G物理內存，yarn.nodemanager.resource.memory-mb（即單個NodeManager能夠利用的主機內存量）設為120G，那么總內存量就是：120 * 1024 * (4 / 28) ≈ 17554MB。再按8:2比例划分的話，最終spark.executor.memory設為約13166MB，spark.yarn.executor.memoryOverhead設為約4389MB。
與上一節同理，這兩個內存參數相加的總量也不能超過單個Container最多能申請到的內存量，即yarn.scheduler.maximum-allocation-mb。
spark.executor.instances
該參數表示執行查詢時一共啟動多少個Executor實例，這取決於每個節點的資源分配情況以及集群的節點數。若我們一共有10台32C/128G的節點，並按照上述配置（即每個節點承載7個Executor），那么理論上講我們可以將spark.executor.instances設為70，以使集群資源最大化利用。但是實際上一般都會適當設小一些（推薦是理論值的一半左右），因為Driver也要占用資源，並且一個YARN集群往往還要承載除了Hive on Spark之外的其他業務。
spark.dynamicAllocation.enabled
上面所說的固定分配Executor數量的方式可能不太靈活，尤其是在Hive集群面向很多用戶提供分析服務的情況下。所以更推薦將spark.dynamicAllocation.enabled參數設為true，以啟用Executor動態分配。
Driver參數
spark.driver.cores
該參數表示每個Driver可利用的CPU核心數。絕大多數情況下設為1都夠用。
spark.driver.memory/spark.driver.memoryOverhead
這兩個參數分別表示每個Driver可利用的堆內內存量和堆外內存量。根據資源富余程度和作業的大小，一般是將總量控制在512MB~4GB之間，並且沿用Executor內存的“二八分配方式”。例如，spark.driver.memory可以設為約819MB，spark.driver.memoryOverhead設為約205MB，加起來正好1G。
Hive參數
絕大部分Hive參數的含義和調優方法都與on MR時相同，但仍有兩個需要注意。
hive.auto.convert.join.noconditionaltask.size
我們知道，當Hive中做join操作的表有一方是小表時，如果hive.auto.convert.join和hive.auto.convert.join.noconditionaltask開關都為true（默認即如此），就會自動轉換成比較高效的map-side join。而hive.auto.convert.join.noconditionaltask.size
但是Hive on MR下統計表的大小時，使用的是數據在磁盤上存儲的近似大小，而Hive on Spark下則改用在內存中存儲的近似大小。由於HDFS上的數據很有可能被壓縮或序列化，使得大小減小，所以由MR遷移到Spark時要適當調高這個參數，以保證map join正常轉換。一般會設為100~200MB左右，如果內存充裕，可以更大點。
hive.merge.sparkfiles
小文件是HDFS的天敵，所以Hive原生提供了合並小文件的選項，在on MR時是hive.merge.mapredfiles，但是on Spark時會改成hive.merge.sparkfiles，注意要把這個參數設為true。至於小文件合並的閾值參數，即hive.merge.smallfiles.avgsize與hive.merge.size.per.task都沒有變化；
轉載自：https://blog.csdn.net/Java_Road_Far/article/details/104899098