【原創】大叔經驗分享（14）spark on yarn提交任務到集群后spark-submit進程一直等待

spark on yarn通過--deploy-mode cluster提交任務之后，應用已經在yarn上執行了，但是spark-submit提交進程還在，直到應用執行結束，提交進程才會退出，有時這會很不方便，並且不注意的話還會占用很多資源，比如提交spark streaming應用；

最近發現spark里有一個配置可以修改這種行為，提交任務的時候加長一個conf就可以

--conf spark.yarn.submit.waitAppCompletion=false

org.apache.spark.deploy.yarn.config

  private[spark] val WAIT_FOR_APP_COMPLETION = ConfigBuilder("spark.yarn.submit.waitAppCompletion")
    .doc("In cluster mode, whether to wait for the application to finish before exiting the " +
      "launcher process.")
    .booleanConf
    .createWithDefault(true)