Spark SQL 基本操作

將下列 json 數據復制到你的 ubuntu 系統/usr/local/spark 下，並保存命名為 employee.json。

{ "id":1 ,"name":" Ella","age":36 }

{ "id":2,"name":"Bob","age":29 }

{ "id":3 ,"name":"Jack","age":29 }

{ "id":4 ,"name":"Jim","age":28 }

{ "id":5 ,"name":"Damon" }

{ "id":5 ,"name":"Damon" }

首先為 employee.json 創建 DataFrame，並寫出 Scala 語句完成下列操作：

創建 DataFrame

答案：

scala> import org.apache.spark.sql.SparkSession

scala> val spark=SparkSession.builder().getOrCreate()

scala> import spark.implicits._

scala> val df = spark.read.json("file:///usr/local/spark/employee.json")

(1) 查詢 DataFrame 的所有數據

答案：scala> df.show()

(2) 查詢所有數據，並去除重復的數據

答案：scala> df.distinct().show()

(3) 查詢所有數據，打印時去除 id 字段

答案：scala> df.drop("id").show()

(4) 篩選 age>20 的記錄

答案：scala> df.filter(df("age") > 30 ).show()

(5) 將數據按 name 分組

答案：scala> df.groupBy("name").count().show()

(6) 將數據按 name 升序排列

答案：scala> df.sort(df("name").asc).show()

(7) 取出前 3 行數據

答案：scala> df.take(3) 或 scala> df.head(3)

(8) 查詢所有記錄的 name 列，並為其取別名為 username

答案：scala> df.select(df("name").as("username")).show()

(9) 查詢年齡 age 的平均值

答案：scala> df.agg("age"->"avg")

(10) 查詢年齡 age 的最小值

答案：scala> df.agg("age"->"min")