spark中用sql查詢的方法


1,spark中用sql方式查詢的方法步驟:

1)spark

res3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSessio

 2)讀取數據的步驟,用spark.read  再按Table鍵,spark會告訴你spark能讀取文件的格式有哪些,來,我們試一下。

spark.read.

csv format jdbc json load option options orc parquet schema table text textFile

 不僅支持csv,jdbc,json,還支持parquet,orc,textFile,table等等格式,有些我也沒試過,那我們接下來read.json試一下。

3)spark用sql的方式打開

spark.read.json("file:///opt/module/data/input/2.json")

res4: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

4)spark定義df

val df = spark.read.json("file:///opt/module/data/input/2.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

5)需要建立全局臨時表,關鍵要有表名

df.createGlobalTempView("student")

6)

spark.sql("select * from global_temp.student").show()

+---+--------+
|age| name|
+---+--------+
| 20|zhangsan|
| 20| lisi|
| 20| wangwu|
+---+--------+

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM