【原創】大叔經驗分享（6）Oozie如何查看提交到Yarn上的任務日志
通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息 ...
原文：【原創】大叔經驗分享（46）用戶提交任務到yarn報錯
用戶提交任務到yarn時有可能遇到下面的錯誤： Requested user anything is not whitelisted and has id ,which is below the minimum allowed 這是因為yarn中配置min.user.id ，yarn認為id小於 的是超級用戶，yarn禁止超級用戶提交任務 Each account must have a user ...
2019-03-30 17:12 0 1041 推薦指數：
相關推薦
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔經驗分享（5）oozie提交spark任務如何添加依賴
spark任務添加依賴的方式： 1 如果是local方式運行，可以通過--jars來添加依賴； 2 如果是yarn方式運行，可以通過spark.yarn.jars來添加依賴； 這兩種方式在oozie上都行不通，首先oozie上沒辦法也不應該通過local運行 ...
【原創】大叔經驗分享（14）spark on yarn提交任務到集群后spark-submit進程一直等待
spark on yarn通過--deploy-mode cluster提交任務之后，應用已經在yarn上執行了，但是spark-submit提交進程還在，直到應用執行結束，提交進程才會退出，有時這會很不方便，並且不注意的話還會占用很多資源，比如提交spark streaming應用； 最近發現 ...
【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...
【原創】大叔經驗分享（55）spark連接kudu報錯
spark-2.4.2kudu-1.7.0 開始嘗試 1）自己手工將jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7. ...
【原創】大叔經驗分享（51）docker報錯Exited (137)
docker container啟動失敗，報錯：Exited (137) *** ago，比如 Exited (137) 16 seconds ago 這時通過docker logs查不到任何日志，從mesos上看stderr相關的只有一句 I0409 16:56 ...
【原創】大叔經驗分享（67）spring boot啟動報錯
spring boot 啟動報錯： 出現這個問題通常的原因工程中使用了多個開源jar，每個開源jar都有自己的日志實現方式，比如slf+log4j,slf+logback等，其中slf是一個抽象接口，有很多種實現，但是工程中只能有一種，解決方法在異常中已經提示 ...