hive 更換 tez 引擎（二）

1、下載

這里選擇的版本是 0.9.2，下載地址

[hadoop@hadoop1 big_source]$ tar -zxvf apache-tez-0.9.2-bin.tar.gz
[hadoop@hadoop1 big_source]$ mv apache-tez-0.9.2-bin tez-0.9.2

2、上傳至 HDFS

為了使各個節點都能夠使用 Tez 引擎進行計算，需要將下載好的依賴包上傳至 HDFS：

[hadoop@hadoop1 big_source]$ hadoop fs -mkdir /tez
[hadoop@hadoop1 big_source]$ hadoop fs -put apache-tez-0.9.2-bin.tar.gz /tez

3、修改配置

hive/conf 下新建 tez-site.xml：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <!--指定要讀取的tez的jar包地址 -->
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez/apache-tez-0.9.2-bin.tar.gz</value>
  </property>
  <property>
     <!-- tez可使用集群的jar包 -->
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

在 hive-env.sh 中的增加以下內容：

export TEZ_HOME=/home/hadoop/apps/big_source/tez-0.9.2
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export
TEZ_JARS=${TEZ_JARS:1}
HIVE_AUX_JARS_PATH=$TEZ_JARS

在 hive-site.xml 中更改 hive 計算引擎為 tez：

<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

4、關閉虛擬內存檢查

除了關閉虛擬內存檢查，還需要調大內存，修改 hadoop 集群 hadoop-2.7.5/etc/hadoop/yarn-site.xml：

<!-- 調大內存 -->
 <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
        <description>default value is 1024，yarn 的虛擬內存</description>
</property>

<!-- 關掉虛擬內存檢查 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>3.0</value>
</property>

5、將 yarn-site.xml 分發到其他節點，並重啟 hadoop 集群：

[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml hadoop@192.168.131.138:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml hadoop@192.168.131.139:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

參考：Hive更換Tez計算引擎