關於在在hue當中執行shell腳本使用oozie調度,一直出現laucher異常退出。


Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]

Oozie Launcher failed, finishing Hadoop job gracefully

Oozie Launcher, uploading action data to HDFS sequence file: hdfs://VM200-11:8020/user/admin/oozie-oozi/0000061-180912100001759-oozie-oozi-W/shell-03de--shell/action-data.seq
Successfully reset security manager from org.apache.oozie.action.hadoop.LauncherSecurityManager@2b5b64a3 to null

Oozie Launcher ends
這個就是出現的錯誤,然后在hue上面查看日志發現沒有錯誤信息,然后我又去yarn上面查看錯誤信息。發現也沒有。這怎么辦那。然后卡了幾天時間。在集群的命令行當中的shell腳本也是正常執行的不報錯。
然而今天突然之間看shell腳本發現自己寫的shell腳本中的for循環有問題。真的是醉了。

這個地方多寫了一個等於號,然后oozie在執行調度的時候他還會加載一次,然后又沒有相對應得表,然后就執行報錯了。真的是坑。
雖然問題解決了,但是在整個的過程當中還是收獲了很多東西。順便也總結一下碰到這種問題的時候的自己的一點見解。

(1)注意如果是shell的話一定要注意空格的問題。

(2)在執行的過程當中要注意權限問題。可以使用HADOOP_USER_NAME=${wf:user()} 讓oozie找到Hadoop集群上面的用戶。

 (3)一定要添加這個文件絕對路徑來加載文件。

 
       


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM