hive on tez 錯誤記錄

 

1、執行過程失敗，報 Container killed on request. Exit code is 143   

如下圖：

 

 

分析：造成這種原因是由於總內存不多，而容器在jvm中占比過高，修改tez-site.xml文件，添加如下配置：

<property>
        <name>tez.container.max.java.heap.fraction</name>
        <value>0.2</value>   #調低內存占比，默認是0.8（也就是80%）
</property>

 2、ERROR [main] exec.TaskRunner: Error in executeTask java.lang.NoSuchFieldError: DEFAULT_MR_AM_ADMIN_USER_ENV

分析：

• hadoop版本與tez所帶的hadoop版本不一致。
• 沒有配置tez的類路徑或者配置失效。

解決：

• 第一種情況，刪除tez的lib目錄下的hadoop包，然后拷貝hadoop lib下的hadoop包過去。（參考上篇hive on tez）
• 第二種情況，在hadoop-env.sh配置環境變量 或者拷貝tez目錄或者tez的lib目錄下的.jar包到hive下的lib目錄。

1、hadoop-env.sh配置環境變量
TEZ_CONF_DIR=/data1/hadoop/hadoop/etc/hadoop/
TEZ_JARS=/tez-0.9.0
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
或者
2、拷貝jar文件到hive
#cp /tez-0.9.0/*.jar /data1/hadoop/hive/lib
#cp /tez-0.9.0/lib/*.jar /data1/hadoop/hive/lib

 3、FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

hive設置值有三種方法：

方法1：在hive-site.xml文件設置,如：
<property>
   <name>hive.execution.engine</name>
   <value>tez</value>
</property>
方法2：在啟動的時候傳遞值進去，如：
#hive --hiveconf hive.execution.engine=tez
方法3：進入到hive-cli，通過set 設置，如：
hive> set hiveconf hive.execution.engine=tez;


優先級：方法3>2>1
范圍：
方法1：全局生效
方法2、3：當前環境生效。

現在按方法1或者方法2配置hive.execution.engine=tez，進去到hive-cli時啟動調試模式：如下：

首先。在配置文件開啟tez引擎：

 

其次，啟動的時候，打開調試模式，看具體錯誤的信息：

hive --hiveconf hive.root.logger=DEBUG,console

輸出信息如下：

19/06/19 02:42:05 [Tez session start thread]: INFO client.TezClient: Tez system stage directory hdfs://EDPI-HBASE/tmp/hive/root/_tez_session_dir/c6ba83f1-cd59-4a53-b9b9-38aff39ff6d9/.tez/application_1560912101665_0001 doesn't exist and is created
19/06/19 02:42:05 [Tez session start thread]: DEBUG client.TezClientUtils: AppMaster capability = <memory:1024, vCores:1>
hive> 19/06/19 02:42:05 [Tez session start thread]: DEBUG client.TezClientUtils: Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java  -Xmx204m -Djava.io.tmpdir=$PWD/tmp -server -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=<LOG_DIR> -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel='' org.apache.tez.dag.app.DAGAppMaster --session 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr 
19/06/19 02:42:05 [Tez session start thread]: ERROR tez.TezSessionState: Failed to start Tez session
java.lang.NullPointerException   #報空指針錯誤
    at org.apache.tez.dag.api.records.DAGProtos$PlanKeyValuePair$Builder.setValue(DAGProtos.java:1587)
    at org.apache.tez.client.TezClientUtils.createFinalConfProtoForApp(TezClientUtils.java:809)
    at org.apache.tez.client.TezClientUtils.createApplicationSubmissionContext(TezClientUtils.java:578)
    at org.apache.tez.client.TezClient.start(TezClient.java:428)
    at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.startSessionAndContainers(TezSessionState.java:390)
    at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.access$000(TezSessionState.java:96)
    at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$1.call(TezSessionState.java:327)
    at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$1.call(TezSessionState.java:323)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.lang.Thread.run(Thread.java:748)

分析：為什么會報空指針錯誤呢，，，經過測試，如果不在hive-site.xml配置文件配置引擎，進入到hive-cli里面以后，通過set方法設置，在執行hive語句的時候，沒問題，可以正常執行（其實，通過方法3這種方式在執行hql語句的時候，在第一次執行時也會提示空指針錯誤，后面在執行的時候才算正常。），但是通過方法1和2設置，不能正常執行，報：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

實際上也就是空指針錯誤。

通過方法1和2設置引擎的時候，在進入hive客戶端時，yarn就會分配資源啟動AM，而通過方法3的時候，則是進入到hive以后，在執行具體的任務時，才開始分配資源啟動AM

解決辦法：

修改yarn-site.xml文件

找到如下的配置
<property>
        <name>yarn.resourcemanager.zk-address</name>     
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
修改成

<property>
<name>hadoop.zk.address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>

分發yarn-site.xml到其他機器，重啟yarn

經過測試，修改以后，三種方法設置引擎為tez后都可以正常的在hive里面使用hql。

造成這種原因的我感覺應該是由於yarn.resourcemanager.zk-address參數已經過時，現在在配置的時候，都采用hadoop.zk.address配置zookeeper的地址。

所以，出錯的時候，打開調試模式還是很有幫助的。