org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid
出錯部分代碼:
Column column_combine = concat_ws(separator,JavaConverters.asScalaIteratorConverter(combineColumn.iterator()).asScala().toSeq()).as(columnName);
df_result = dataset.toDF().select(lit(column_combine));
今天把scala改為java代碼的時候出現此問題,百度谷歌一堆解決方案有兩個。
1.換一種寫法,利用spark sql去執行(但是我想利用dataset去執行)
2.方法升級spark版本(這個貌似屬於spark的一個bug,測試了2.1--2.3都是出錯,用了2.4恢復正常)