Spark:用saveAsTable保存為hive默認純文本文件


spark中Dataset的的saveAsTable方法可以把數據持久化到hive中,其默認是用parquet格式保存數據文件的,若是想讓其保存為其他格式,可以用format方法配置。

如若想保存的數據文件格式為hive默認的純文本文件:

df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")

format支持的格式有:

hive (hive默認格式,數據文件純文本無壓縮存儲)
parquet (spark默認采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一個列的df)
jdbc
libsvm


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM