通過spark-submit提交hadoop配置的方法

通過spark提交的spark開頭的配置在程序啟動后會添加到SparkConf中，但是hadoop相關的配置非spark開頭會被過濾掉，但是只要在這些配置的key前面添加spark.hadoop.前綴，則該key就不會被過濾，會被放置到SparkConf中；最終會存儲在Configuration  對象中，存入之前會將  spark.hadoop.前綴截掉（如：hbase的hbase.zookeeper.quorum，則這樣傳遞：spark-submit --conf  spark.hadoop.hbase.zookeeper.quorum），見下方截圖代碼邏輯

在spark應用中如果要是用這些key,只需要添加如下代碼即可：

Configuration  conf = ss.sparkContext().hadoopConfiguration();

String quorum = conf.get("hbase.zookeeper.quorum");