參考:https://blog.csdn.net/happylin0x29a/article/details/8855716
問題原因:為了優化讀取parquet格式文件,spark默認選擇使用自己的解析方式讀取數據,結果讀出的數據就有問題。
解決辦法:將配置項spark.sql.hive.convertMetastoreParquet 改為false就行了
參考:https://blog.csdn.net/happylin0x29a/article/details/8855716
問題原因:為了優化讀取parquet格式文件,spark默認選擇使用自己的解析方式讀取數據,結果讀出的數據就有問題。
解決辦法:將配置項spark.sql.hive.convertMetastoreParquet 改為false就行了
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。