MapPartition和Map的區別

在Spark中有map和mapPartitions算子，處理數據上，有一些區別

主要區別：

map是對rdd中的每一個元素進行操作；

mapPartitions則是對rdd中的每個分區的迭代器進行操作

MapPartitions的優點：

如果是普通的map，比如一個partition中有1萬條數據。ok，那么你的function要執行和計算1萬次。

使用MapPartitions操作之后，一個task僅僅會執行一次function，function一次接收所有
的partition數據。只要執行一次就可以了，性能比較高。如果在map過程中需要頻繁創建額外的對象(例如將rdd中的數據通過jdbc寫入數據庫,map需要為每個元素創建一個鏈接而mapPartition為每個partition創建一個鏈接),則mapPartitions效率比map高的多。

SparkSql或DataFrame默認會對程序進行mapPartition的優化。

MapPartitions的缺點：

如果是普通的map操作，一次function的執行就處理一條數據；那么如果內存不夠用的情況下， 比如處理了1千條數據了，那么這個時候內存不夠了，那么就可以將已經處理完的1千條數據從內存里面垃圾回收掉，或者用其他方法，騰出空間來吧。
所以說普通的map操作通常不會導致內存的OOM異常。 

但是MapPartitions操作，對於大量數據來說，比如甚至一個partition，100萬數據，
一次傳入一個function以后，那么可能一下子內存不夠，但是又沒有辦法去騰出內存空間來，可能就OOM，內存溢出。

 

實現將每個數字變成原來的2倍的功能
def main(args: Array[String]): Unit = {

  var conf = new SparkConf().setMaster("local[*]").setAppName("partitions")
  var sc   = new SparkContext(conf)

  println("1.map--------------------------------")
  var aa   = sc.parallelize(1 to 9, 3)
  def doubleMap(a:Int) : (Int, Int) = { (a, a*2) }
  val aa_res = aa.map(doubleMap)
  println(aa.getNumPartitions)
  println(aa_res.collect().mkString)

  
  println("2.mapPartitions-------------------")
  val bb = sc.parallelize(1 to 9, 3)
  def doubleMapPartition( iter : Iterator[Int]) : Iterator[ (Int, Int) ] = {
    var res = List[(Int,Int)]()
    while (iter.hasNext){
      val cur = iter.next()
      res .::= (cur, cur*2)
    }
    res.iterator
  }
  val bb_res = bb.mapPartitions(doubleMapPartition)
  println(bb_res.collect().mkString)


  println("3.mapPartitions-------------------")
  var cc = sc.makeRDD(1 to 5, 2)
  var cc_ref = cc.mapPartitions( x => {
    var result = List[Int]()
    var i = 0
    while(x.hasNext){
      val cur = x.next()
      result.::= (cur*2)
    }
    result.iterator
  })
  cc_ref.foreach(println)
}

運行結果：
1.map--------------------------------
3
(1,2)(2,4)(3,6)(4,8)(5,10)(6,12)(7,14)(8,16)(9,18)

2.mapPartitions-------------------
(3,6)(2,4)(1,2)(6,12)(5,10)(4,8)(9,18)(8,16)(7,14)

3.mapPartitions-------------------
4
2
10
8
6