spark SQL之 Dataframe中na.fill的用法


   對兩個數據表如A,B取JOIN操作的時候,其結果往往會出現NULL值的出現。

    這種情況是非常不利於后續的分析與計算的,特別是當涉及到對這個數值列進行各種聚合函數計算的時候。

    Spark為此提供了一個高級操作,就是:na.fill的函數。

    其處理過程就是先構建一個MAP,如下:  

                                 val map = Map("列名1“ -> 指定數字, "列名2“ -> 指定數字, .....)  

     然后執行dataframe.na.fill(map),即可實現對NULL值的填充。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM