spark中Dataset
的的saveAsTable
方法可以把數據持久化到hive中,其默認是用parquet格式保存數據文件的,若是想讓其保存為其他格式,可以用format
方法配置。
如若想保存的數據文件格式為hive默認的純文本文件:
df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")
format支持的格式有:
hive (hive默認格式,數據文件純文本無壓縮存儲)
parquet (spark默認采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一個列的df)
jdbc
libsvm