當spark跑在yarn上時 單個executor執行時，數據量過大時會導致executor的memory不足而使得rdd 最后lost，最終導致任務執行失敗
其中會拋出如圖異常信息
如圖中異常所示
對應解決方法可以加上對應的參數調優(這個配置可以在總的處理數據量在幾百TB或者1~3PB級別的數據處理時解決executor-memory不足問題)
--num-executors=512 --executor-cores=8 --executor-memory=32g --driver-memory=16g --driver-cores=8g --shuffle_partitions=4000
以上設置的相關數值,可以根據實際集群大小適當調整;但是如果遇到類似異常問題大多就是調整這幾個參數就可以解決