Invalid call to dataType on unresolved object, tree: 'goodsid的问题


org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid

出错部分代码:

 Column column_combine = concat_ws(separator,JavaConverters.asScalaIteratorConverter(combineColumn.iterator()).asScala().toSeq()).as(columnName);
df_result = dataset.toDF().select(lit(column_combine));

今天把scala改为java代码的时候出现此问题,百度谷歌一堆解决方案有两个。

1.换一种写法,利用spark sql去执行(但是我想利用dataset去执行)

2.方法升级spark版本(这个貌似属于spark的一个bug,测试了2.1--2.3都是出错,用了2.4恢复正常)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM