用戶提交任務到yarn時有可能遇到下面的錯誤： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 這是因為yarn中配置 ...

spark任務添加依賴的方式： 1 如果是local方式運行，可以通過--jars來添加依賴； 2 如果是yarn方式運行，可以通過spark.yarn.jars來添加依賴； 這兩種方式在oozie上都行不通，首先oozie上沒辦法也不應該通過local運行 ...

spark on yarn通過--deploy-mode cluster提交任務之后，應用已經在yarn上執行了，但是spark-submit提交進程還在，直到應用執行結束，提交進程才會退出，有時這會很不方便，並且不注意的話還會占用很多資源，比如提交spark streaming應用； 最近發現 ...

通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息 ...

hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...

Spark2.1.1 最近運行spark任務時會發現任務經常運行很久，具體job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...

一 問題 在hive1.2中使用hive或者beeline執行sql都有進度信息，但是升級到hive2.0以后，只有hive執行sql還有進度信息，beeline執行sql完全silence，在等待結果的過程中完全不知道執行到哪了 1 hive執行sql過程（有進度信息 ...

spark 2.1.1 一 問題重現 問題代碼示例 當如下3行代碼放到main外時 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...