Spark：用户自定义函数（UDF）使用

Spark SQL支持用户自定义函数（UDF），我们可以方便的利用udf函数来完成各种数据处理操作。

下面例子展示了用UDF功能对一个数据集进行转换操作（将输入df的某列进行处理，将处理结果作为新列附加在新生成的df上）：

var in = spark.createDataset(List(
  (1, 2),
  (3, 2),
  (3, 4),
  (3, 4),
  (1, 2)))
  .toDF("a", "b")
in.show
/* +---+---+ | a| b| +---+---+ | 1| 2| | 3| 2| | 3| 4| | 3| 4| | 1| 2| +---+---+ */
val df = in.groupBy("a")
  .agg(collect_list("b").as("b"))
df.show
/* +---+---------+ | a| b| +---+---------+ | 1| [2, 2]| | 3|[2, 4, 4]| +---+---------+ */

def f(arr: Seq[Int]) = {
  (arr.sum * 1.0) / arr.size
} //自定义一个功能函数
val my_udf = udf(f _) //将自定义函数注册为udf
val out = df.withColumn("avg(b)", my_udf($"b")) //使用udf进行转换操作
out.show
/* +---+---------+------------------+ | a| b| avg(b)| +---+---------+------------------+ | 1| [2, 2]| 2.0| | 3|[2, 4, 4]|3.3333333333333335| +---+---------+------------------+ */