Invalid call to dataType on unresolved object, tree: 'goodsid的问题

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid

出错部分代码:

 Column column_combine = concat_ws(separator,JavaConverters.asScalaIteratorConverter(combineColumn.iterator()).asScala().toSeq()).as(columnName);
df_result = dataset.toDF().select(lit(column_combine));

今天把scala改为java代码的时候出现此问题,百度谷歌一堆解决方案有两个。

1.换一种写法,利用spark sql去执行(但是我想利用dataset去执行)

2.方法升级spark版本(这个貌似属于spark的一个bug,测试了2.1--2.3都是出错,用了2.4恢复正常)

原文地址:https://www.cnblogs.com/yaohaitao/p/12610842.html