一眼看懂map和flatmap的區別


一眼看懂map和flatmap的區別

map的作用很容易理解就是對rdd之中的元素進行逐一進行函數操作映射為另外一個rdd。

flatMap的操作是將函數應用於rdd之中的每一個元素,將返回的迭代器的所有內容構成新的rdd。通常用來切分單詞。

Spark 中 map函數會對每一條輸入進行指定的操作,然后為每一條輸入返回一個對象。 而flatMap函數則是兩個操作的集合——正是“先映射后扁平化”:

操作1:同map函數一樣:對每一條輸入進行指定的操作,然后為每一條輸入返回一個對象

操作2:最后將所有對象合並為一個對象

object fla_map {<!-- -->
 def main(args: Array[String]): Unit = {<!-- -->
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i =&gt; println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f =&gt; f)
    println(strings)
    strings.foreach( i =&gt; println(i))
  }
}


在這里插入圖片描述


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM