Spark SQL讀取Oracle的number類型的數據時精度丟失問題


Spark SQL讀取數據Oracle的數據時,發現number類型的字段在讀取的時候精度丟失了,使用的spark版本是Spark2.1.0的版本,竟然最后經過排查和網上查資料發現是一個bug。在Spark2.1.2以上的版本解決了這個問題。

number類型的數據通過spark sql的jdbc讀取的時候回變成DecimalType的類型。同時精度不會丟失,在2.1.2版本之前讀取過來是IntType類型的。

Spark issues列表:

通過JDBC讀取Oracle數據打印的DataFrame的Schema信息:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM