Spark RDD 練習題(一)


Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
 
(1) 該系總共有多少學生;

scala> val rdd = sc.textFile("/testfile/chapter5-data1.txt")

// 切分每一行,取到第一個name元素組成新的RDD

scala> val nameRDD = rdd.map(row => row.split(",")(0))
// 去重

scala> val result = nameRDD.distinct()
// 統計總數

scala> result.count
res10: Long = 265

 
(2)該系共開設來多少門課程;

scala> val classRDD = rdd.map(row => row.split(",")(1))

scala> val result = classRDD.distinct()

scala> result.count
res11: Long = 8

 

 

(3) Tom 同學的總成績平均分是多少;
 
 
 
 
 
 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM