spark精華面試題

1、driver的功能是什么？ 1）一個Spark作業運行時包括一個Driver進程，也是作業的主進程，具有main函數，並且有SparkContext的實例，是程序的人口點； 2）功能：負責向集 ...

oracleSQL 轉 SPARKSQL（hiveSql） 及常用優化

背景 數據處理平台從oracle遷移到hadoop平台后，原有的數據處理過程需要改寫為sparkSql。由於sparkSql執行環境和數據的不確定，經常有資源競爭導致處理過程意外停止，數據傾斜導致任 ...