spark dataframe 正则表达式匹配

val fake_data=hivecontext.read
.format("com.databricks.spark.csv")
.option("header","true") //这里如果在csv第一行有属性的话，没有就是"false"
.option("inferSchema",true.toString)//这是自动推断属性列的数据类型。
.option("delimiter", ",")
.load("file:///C:\\Users\\csv\\fix_price.csv")//文件的路径
import org.apache.spark.sql.functions.regexp_extract
fake_data.show()
val data =fake_data.select(regexp_extract(fake_data("gid"),"^\\d{2}",0).alias("gid"))
data.show(10)

spark的正则表达式匹配暂时只找到一个可用于dataframe处理数据的函数

————————————————
原文链接：https://blog.csdn.net/qingumeng4466/article/details/78932970