SPARK之map()和mapPartition()的區別
map():每次處理一條數據 mapPartition():每次處理一個分區的數據,這個分區的數據處理完后,原RDD中分區的數據才能釋放,可能導致OOM 當內存空間較大的時候建議使用m ...
map():每次處理一條數據 mapPartition():每次處理一個分區的數據,這個分區的數據處理完后,原RDD中分區的數據才能釋放,可能導致OOM 當內存空間較大的時候建議使用m ...