共计 297 个字符,预计需要花费 1 分钟才能阅读完成。
No implicit argument of type:Encoder[ ]” in Spark
今天在写一个spark脚本的时候出现的异常报错,在idea里面有错误的提示,执行的时候报上面的错误。
代码的大概逻辑如下所示
val data=df.map(row=>{
....各种逻辑
(a,b,c)
}).toDF("a","b","c")
代码的逻辑就是对df这个dataframe按行作相应的处理,并且返回一个tuple,最终通过toDF来重新生成一个dataframe。
解决方法
import spark.implicits._
问题的关键就是隐式转换。
关于隐式转换想要了解可以看下这篇文章scala impicit语法
正文完
请博主喝杯咖啡吧!