Invalid call to dataType on unresolved object, tree: 'goodsid的問題


org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid

出錯部分代碼:

 Column column_combine = concat_ws(separator,JavaConverters.asScalaIteratorConverter(combineColumn.iterator()).asScala().toSeq()).as(columnName);
df_result = dataset.toDF().select(lit(column_combine));

今天把scala改為java代碼的時候出現此問題,百度谷歌一堆解決方案有兩個。

1.換一種寫法,利用spark sql去執行(但是我想利用dataset去執行)

2.方法升級spark版本(這個貌似屬於spark的一個bug,測試了2.1--2.3都是出錯,用了2.4恢復正常)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM