spark转换集合为RDD


SparkContext可以通过parallelize把一个集合转换为RDD

def main(args: Array[String]): Unit = {
      val conf = new SparkConf();
      val list = List(1, 2, 3, 4, 5,6);
      conf.set("spark.master", "local")
      conf.set("spark.app.name", "spark demo")
      val sc = new SparkContext(conf);
      val input = sc.parallelize(list)
      val sum = input.sum()
      println(sum)
  }

  

  


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM