spark中用sql查询的方法


1,spark中用sql方式查询的方法步骤:

1)spark

res3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSessio

 2)读取数据的步骤,用spark.read  再按Table键,spark会告诉你spark能读取文件的格式有哪些,来,我们试一下。

spark.read.

csv format jdbc json load option options orc parquet schema table text textFile

 不仅支持csv,jdbc,json,还支持parquet,orc,textFile,table等等格式,有些我也没试过,那我们接下来read.json试一下。

3)spark用sql的方式打开

spark.read.json("file:///opt/module/data/input/2.json")

res4: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

4)spark定义df

val df = spark.read.json("file:///opt/module/data/input/2.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

5)需要建立全局临时表,关键要有表名

df.createGlobalTempView("student")

6)

spark.sql("select * from global_temp.student").show()

+---+--------+
|age| name|
+---+--------+
| 20|zhangsan|
| 20| lisi|
| 20| wangwu|
+---+--------+

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM