讀取文件生成數據RDD 數據保存在本地

package com.xiangmu_bushu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Stream_WordCount {
  def main(args: Array[String]): Unit = {
    var conf = new SparkConf().setAppName("Stream_WordCount").setMaster("local[2]")
    //獲取SparkContext對象
    var sc = new SparkContext(conf)

    //1、讀取文件生成數據RDD
    var dataRdd = sc.textFile("D:\\IDEA_Maven\\monthlycheck\\src\\main\\resources\\a.txt")
    //切分
    var flatRdd = dataRdd.flatMap(_.split(" "))
    //標記
    //var mapRdd = flatRdd.map((_,1))
    val mapRdd: RDD[(String, Int)] = flatRdd.map((_, 1))
    //聚合
    var reduceRdd = mapRdd.reduceByKey(_ + _)
    //打印輸出
    reduceRdd.saveAsTextFile("./result")

  }

}