解决Spark filter过滤条件中使用>=或<=时不识别的问题

本文转载自查看原文 2019-01-16 17:29 2946 Scala/ Spark

一.场景

1     val jldxx_zxzq = jldxx_with_dddf
2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
4       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
5       .filter(row => row.getAs("CBRQ") >= row.getAs("ZXZQ").split("_")(0) &&
6         row.getAs("CBRQ") <= row.getAs("ZXZQ").split("_")(1))

二.异常信息

三.原因

　　是因为使用getAs函数获取某列的数据时没有指明具体的类型，导致无法判断是否支持"<="或 ">="这类的运算符，因而会报错！

三.解决方案

　　使用getAs时指明具体的类型！

　　代码如下：

1 val jldxx_zxzq = jldxx_with_dddf
2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
4       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
5       .filter(row => row.getAs[String]("CBRQ") >= row.getAs[String]("ZXZQ").split("_")(0) &&
6         row.getAs[String]("CBRQ") <= row.getAs[String]("ZXZQ").split("_")(1))

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 解决Webstorm不识别Webpack的@语法的问题【问题&解决】解决eclipse不识别Android手机的问题 SpringBoot中使用过滤器Filter SpringBoot中的工程不识别application.yml文件个别问题的解决方案系统不识别某些Android设备：adb devices不显示问题解决解决移动硬盘接到Linux系统后再接上Windows系统不识别的问题 Qt项目ui文件中新添加的控件在代码中不识别的问题解决使用过滤器（Filter）解决请求参数中文乱码问题（复杂方式）使用match和filter多个条件模糊过滤和多条件精确查询通过定义过滤器filter解决跨域问题