同樣的SQL語句在SparkSQL中運行和在hive運行,結果不同


參考:https://blog.csdn.net/happylin0x29a/article/details/8855716


問題原因:為了優化讀取parquet格式文件,spark默認選擇使用自己的解析方式讀取數據,結果讀出的數據就有問題。

解決辦法:將配置項spark.sql.hive.convertMetastoreParquet 改為false就行了

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM