sparksql udf自定义函数中参数过多问题的解决


在进行spark sql数据库操作中,常常需要一些spark系统本身不支持的函数,如获取某一列值中的字符串。


如要获取 “aaaakkkkk”中的第4-第8个字符。


针对这种需求,只有设置UDF来实现了。


val fun:((String,Int,Int) => String) = (args:String, k1:Int, k2:Int) => { args.substr(k1,k2)} 

val sqlfunc = udf(fun)


df.withColumn("column22", sqlfunc(col("column1"), 1,3)


这样就报错。


才发现这里面由于UDF的原因,在任何函数中这个数字本身是不认的,因此需要加上lit()的命令才可以。




df.withColumn("column22", sqlfunc(col("column1"), lit(1), lit(3)),只有这样才可以实现。




df.withColumn("column22", sqlfunc(col("column1"), 1,3)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM