Spark:用saveAsTable保存为hive默认纯文本文件


spark中Dataset的的saveAsTable方法可以把数据持久化到hive中,其默认是用parquet格式保存数据文件的,若是想让其保存为其他格式,可以用format方法配置。

如若想保存的数据文件格式为hive默认的纯文本文件:

df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")

format支持的格式有:

hive (hive默认格式,数据文件纯文本无压缩存储)
parquet (spark默认采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一个列的df)
jdbc
libsvm


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM