flatMap作用

總結：1. map會將每一條輸入映射為一個新對象。{蘋果，梨子}.map(去皮） = {去皮蘋果，去皮梨子} 其中： “去皮”函數的類型為：A => B

2.flatMap包含兩個操作：會將每一個輸入對象輸入映射為一個新集合，然后把這些新集合連成一個大集合。 {蘋果，梨子}.flatMap(切碎) = {蘋果碎片1，蘋果碎片2，梨子碎片1，梨子碎片2} 其中： “切碎”函數的類型為： A => List<B>

例如：spark單詞計數

 

text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
             .map(lambda word: (word, 1)) \
             .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")