Spark版wordcount，并根据词频进行排序

import org.apache.spark.{SparkConf, SparkContext}

/**
 * Created by loushsh on 2017/10/9.
 */
object WordCount {

 def main(args:Array[String]): Unit ={
 val conf=new SparkConf()
 val sc=new SparkContext(conf)
 val line= sc.textFile(args(0))
 val count=line.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).repartition(1).saveAsTextFile(args(1))
 }
}


更多精彩内容，欢迎扫码关注以下微信公众号：大数据技术宅。大数据、AI从关注开始