記一次--------spark.sql.codegen.wholeStage=false參數修改


程序雖然報錯提示如下
 
程序雖然現實報錯內容,但是沒有指定到具體代碼位置, 查看hive結果表,結果表正常插入hive表中。
雖然不影響結果運行,但是看到日志報錯內容,決定解決一下。
 
 
在腳本中加入一下參數配置,默認spark2.2 是true。
- -conf spark.sql.codegen.wholeStage= false
該參數的是將SQL語句優化成java代碼,從而提高運行效率。。。
但是不知道為什么會報錯。。。
 
 
 
 
 
 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM